狂躁的辣条的博客

一、表的设计优化1.1、提前创建region分区默认情况下，在创建HBase表的时候会自动创建一个region分区，当导入数据的时候，所有的HBase客户端都向这一个region写数据，直到这个region足够大了才进行切分。一种可以加快批量写入速度的方法是通过预先创建一些空的regions，这样当数据写入HBase时，会按照region分区情况，在集群内做数据的负载均衡。1.2、rowKe...

二、写表操作优化2.1、多个HTable 并发写创建多个HTable客户端用于写操作，提高写数据的吞吐量，一个例子：static final Configuration conf = HBaseConfiguration.create();static final String table_log_name = “user_log”;wTableLog = new HTable[tabl...

三、读表操作优化3.1 多HTable并发读创建多个HTable客户端用于读操作，提高读数据的吞吐量，一个例子：static final Configuration conf = HBaseConfiguration.create();static final String table_log_name = “user_log”;rTableLog = new HTable[tableN...

1、hosts iptables 网络 要确保通信 关闭防火墙2、时间 需要设置一致时间服务器ntpdate yum install -y ntp直接上网搜ntp时间服务器ntpdate ntp1.aliyun.com3、 jdk4、hadoop集群启动 可以不需要yarnstart-dfs.shnamenode datanode zk master re...

Client包含访问HBase的接口并维护cache来加快对HBase的访问Zookeeper保证任何时候，集群中只有一个master存贮所有Region的寻址入口。实时监控Region server的上线和下线信息。并实时通知Master存储HBase的schema和table元数据Master为Region server分配region负责Region server的负载均衡...

转载自：https://blog.51cto.com/12445535/2363376背景：1、缓存对于数据库来说极其的重要2、最理想的情况是，所有数据都能够缓存到内存，这样就不会有任何文件IO请求，读写性能必然会提升到极致。3、我们并不需要将所有数据都缓存起来，根据二八法则，80%的业务请求都集中在20%的热点数据上，4、把20%的数据缓存起来，将这部分数据缓存起就可以极大地提升系统性...

Client包含访问HBase的接口并维护cache来加快对HBase的访问Zookeeper保证任何时候，集群中只有一个master存贮所有Region的寻址入口。实时监控Region server的上线和下线信息。并实时通知Master存储HBase的schema和table元数据Master为Region server分配region负责Region server的负载均...

Hbase使用memstore和storefile存储，Hbase只有增加数据，所有的更新和删除操作都是在后续的合并中进行，使得用户在写操作只要进入内存就立即返回实现Hbase高速存储1、client通过zookeeper的调度，向regionServer发出写数据请求，在Region中写数据2、数据首先是写入HLog和memstore，memstore的数据是有序的，当memstore达到...