bearplayjava-CSDN博客

转载谈谈Java中的volatile

内存可见性　　volatile是Java提供的一种轻量级的同步机制，在并发编程中，它也扮演着比较重要的角色。同synchronized相比（synchronized通常称为重量级锁），volatile更轻量级，相比使用synchronized所带来的庞大开销，倘若能恰当的合理的使用volatile，自然是美事一桩。　　为了能比较清晰彻底的理解volatile，我们一步一步来分析。首先来看看...

2018-08-16 14:57:40 92

redis是一个key-value存储系统.和Memcached类似，它支持存储的value类型相对更多，包括string(字符串)、list(链表)、set(集合)、zset(sorted set --有序集合)和hashs（哈希类型）这些数据类型都支持push/pop、add/remove及取交集并集和差集及更丰富的操作，而且这些操作都是原子性的.在此基础上，redis支持各种不同方式的排...

2018-08-13 23:55:58 285

原创为什么使用Spark?

Apache Spark是一个集群计算引擎，它抽象了底层分布式存储和集群管理，,使它可以插入plugin大量的专门的存储和集群管理工具。Spark支持HDFS, Cassandra, local storage, S3, 甚至传统的关系数据库作为存储层，也可以和集群管理工具YARN, Mesos一起工作，相对集群模式它还有单机模型，Spark已经打破了由Hadoop创造的排序记录，本文介绍Spar...

2018-07-26 18:12:17 1830

原创 java8之lambda表达式入门

1. 什么是λ表达式λ表达式本质上是一个匿名方法。让我们来看下面这个例子： public int add(int x, int y) { return x + y; }转成λ表达式后是这个样子： (int x, int y) -> x + y;参数类型也可以省略，Java编译器会根据上下文推断出来： (x, y) -&...

2018-07-19 17:21:50 92

转载 Zookeeper3.4.12、Hadoop2.8.3、Hbase2.0搭建HA高可用集群

一、环境准备1、版本选择Hbase2.0不能跟Hadoop3.0官方不推荐目前，还是NT状态，2.8.3是S支持状态。2、机器配置配置固定ip（根据主机设置）/etc/network/interfaces.d#auto eth0#iface eth0 inet dhcpauto eth0 iface eth0 inet static address 192.168.1.141 ga...

2018-07-13 13:45:16 981

转载 HBase 高性能获取数据(多线程批量式解决办法) + MySQL和HBase性能测试比较

1、如何存储十亿、百亿数据？答：使用数据存储集群，增加水平拓展能力，以容纳上百亿数据量2、如何保证在十亿、百亿数据上面的查询效率？答：使用分布式搜索引擎数据量过亿，无论是存储在关系型数据库还是非关系型数据库，使用非索引字段进行条件查询、模糊查询等复杂查询都是一件极其缓慢甚至是不可能完成的任务，数据库索引建立的是二级索引，大数据查询主要依靠搜索引擎。根据Solr中国资料显示，...

2018-07-13 13:44:28 725

原创 MySql与Oracle的区别总结

有很多应用项目, 刚起步的时候用MYSQL数据库基本上能实现各种功能需求，随着应用用户的增多，数据量的增加，MYSQL渐渐地出现不堪重负的情况：连接很慢甚至宕机，于是就有把数据从MYSQL迁到ORACLE的需求，应用程序也要相应做一些修改。总结出以下几点注意事项。1．自动增长的数据类型处理 MYSQL有自动增长的数据类型，插入记录时不用操作此字段，会自动获得数据值。ORACLE...

2018-06-26 16:01:57 103

原创 zookeeper 集群安装（单点与分布式成功安装）摘录

ZooKeeper是一个分布式开源框架，提供了协调分布式应用的基本服务，它向外部应用暴露一组通用服务——分布式同步（Distributed Synchronization）、命名服务（Naming Service）、集群维护（Group Maintenance）等，简化分布式应用协调及其管理的难度，提供高性能的分布式服务。ZooKeeper本身可以以Standalone模式安装运行，不过它的长处在...

2018-06-25 14:59:52 123

转载 zookeeper 集群安装（单点与分布式成功安装）摘录