Hbase
文章平均质量分 69
bigdataCoding
这个作者很懒,什么都没留下…
展开
-
spark RDD写入 Hbase
spark 对hbase 的写入rdd.saveAsHadoopDataset原创 2016-12-15 22:29:28 · 3753 阅读 · 0 评论 -
Hbase 踩坑
2018-02-11 15:50:27,843 INFO [RpcServer.FifoWFPBQ.priority.handler=19,queue=1,port=16020] regionserver.RSRpcServices: Compacting archiveLogData,D,1517906411842.c5edfc6575a591b2b5eb06b9e069bd48.2018-...原创 2018-02-11 16:00:22 · 3331 阅读 · 0 评论 -
StromTrident和Hbase 实现热门搜索
统计APP中,全量用户的搜索统计,并且列出TopN 主要流程如下: 1.APP端搜索的搜索数据通过推送到Kafka中 2.Strom 与 Kafka 有 native的接口OpaqueTridentKafkaSpout 3.Storm中应用到SlidingDurationWindow即窗口统计 4. 数据写入到Hbase当中TridentHBaseMappercode: stat原创 2017-12-06 10:37:19 · 368 阅读 · 0 评论 -
Hbase 架构整理
Hbase Region的理解 1、Region数量的影响通常较少的region数量可使群集运行的更加平稳,官方指出每个RegionServer大约100个regions的时候效果最好,理由如下:1)Hbase的一个特性MSLAB,它有助于防止堆内存的碎片化,减轻垃圾回收Full GC的问题,默认是开启的。但是每个MemStore需要2MB(一个列簇对应一个写缓存memstore)。所以如果每个r原创 2017-10-12 10:25:45 · 437 阅读 · 0 评论 -
Hbase Region迁移过程详解
在生产上遇到有比较大的Region都是运行在同一个RegionSever上,有些RegionSever上的Requests比较少,明显的出现读请求不均衡;这个时候我们可以手动的移动Region到负载比较低的RegionSever上面eg: 在hbase shell 执行如下:move ‘5f1e66c635f8a0ed278f609fa16d5a6e’,’slave2,16020,15077994原创 2017-10-13 11:57:37 · 4208 阅读 · 0 评论 -
Spark对Hbase 的封装 connector
传统方式spark写Hbase的方式为这种方式就是常用的TableInputFormat和TableOutputFormat来读写hbase;本文用SparkOnHbase基于GIT上Clouder开源出来的方法,依赖如下:<!-- https://mvnrepository.com/artifact/org.apache.hbase/hbase-spark --><dependency>原创 2017-09-05 14:22:09 · 2818 阅读 · 0 评论 -
Phoenix和Hbase整合
1.什么是Phonenix? Phoenix是构建在HBase上的一个SQL层,能让我们用标准的JDBC APIs而不是HBase客户端APIs来创建表,插入数据和对HBase数据进行查询。 Phoenix完全使用Java编写,作为HBase内嵌的JDBC驱动。Phoenix查询引擎会将SQL查询转换为一个或多个HBase扫描,并编排执行以生成标准的JDBC结果集。直接使用HBase API、协原创 2017-06-15 13:45:16 · 2871 阅读 · 0 评论 -
Hbase Api 基于1.0.3版本
private static Configuration conf = null;private static Connection conn = null;/** * 获取全局唯一的Configuration实例 * * @return */private static synchronized Configuration getConf() { if (conf == null原创 2017-03-19 19:55:39 · 847 阅读 · 0 评论 -
Hbase 批量插入(mapReduce)
Hbase利用MapReduce批量插入数据原创 2017-01-03 14:57:03 · 1455 阅读 · 0 评论 -
Hbase的读写寻址过程
1.Hbase的写入流程客户端查找对应region 客户端根据要操作rowkey,查找rowkey对应的region。查找region的过程为通过zk获取到hbase:meta表所在region。通过查找hbase:meta可以找到要更新的表每个region的startkey、endkey以及所处机器。由于hbase的rowkey有序分布在region上,所以通过每个region的startkey...原创 2018-05-10 17:22:37 · 2412 阅读 · 0 评论