hbase
文章平均质量分 82
千里风雪
个人比较喜欢打台球, 篮球, 跑步, 平时没事敲敲代码, 听听歌
展开
-
flink批量 async io 写入hbase
flink 采用批量 async io 方式写入hbase 一条一条数据写入hbase太慢了,故采用批量的方式,每2000条数据一个批量写入hbase,提高写入性能 设置一个三秒的翻滚窗口, 将数据聚合在一起, 然后批量的方式, Async IO 异步写入hbaseval RunDataDS: DataStream[FdcData[RunData]] = getDatas() /** *原创 2021-12-03 14:12:47 · 3898 阅读 · 0 评论 -
org.apache.hadoop.hbase.ClockOutOfSyncException报错
1主节点5从节点, 重启hbase集群后, 有一个节点因为时间差距导致启动失败2020-03-12 13:39:58,631 FATAL [regionserver/migu-cdn-hbase001.migu01.mmtrix.com/10.186.59.50:6201] regionserver.HRegionServer: Master rejected startup because ...原创 2020-03-12 15:35:44 · 561 阅读 · 0 评论 -
在shell脚本执行hbase命令
定时清理hbase表### 定时清理30天前产生的表day=`date -d "-30 day" "+%Y%m%d"`hbase_table='migu:download_log'${day}''echo $hbase_tablecd /home/mmtrix/Application/Gosun/enterprise/hbase/hbase-1.2.0-cdh5.9.3exec...原创 2020-03-11 14:28:07 · 2660 阅读 · 0 评论 -
hbase报错: org.apache.hadoop.hdfs.BlockMissingException: Could not obtain block
2020-01-19 16:37:05,531 INFO [mg011.tigard.com,6000,1579413911172_ChoreService_1] hdfs.DFSClient: Could not obtain BP-266398130-10.186.59.129-1574389974472:blk_1082979077_9238392 from any node: java....原创 2020-01-20 14:07:41 · 3054 阅读 · 0 评论 -
hbase报错:java.io.IOException: Got error for OP_READ_BLOCK
hbase报错:java.io.IOException: Got error for OP_READ_BLOCK2020-01-16 14:57:32,689 WARN [RpcServer.FifoWFPBQ.priority.handler=17,queue=1,port=6201] hdfs.BlockReaderFactory: I/O error constructing remot...原创 2020-01-16 15:18:56 · 2976 阅读 · 1 评论 -
hbase的从节点全被我搞挂了
主要是记录这个hbase从节点全挂掉的过程和一些自己的心得, 这次hbase的HRegionServer全部死掉幸好是在测试环境,及早发现。昨天加了一个新项目, spark streaming 使用bulk load模式落地数据到hbase, 将日志信息全都存到hbase。 今天早上一来看hbase的从节点全都挂了,master节点没挂。正常bulk Loaded HFile的日志 ...原创 2020-01-16 14:28:47 · 1405 阅读 · 0 评论 -
hbase java创建表时设置TTL
hbase java创建表时设置TTLColumnFamilies 可以以秒为单位来设置 TTL(Time To Live)长度,一旦达到到期时间,HBase 将自动删除行。设置 hbase.store.delete.expired.storefile 为 false 将禁用此功能。将最小版本数设置为 0 以外的值也会禁用此功能。java创建表时设置TTLhcd.setTimeTo...原创 2020-01-15 14:15:25 · 3142 阅读 · 1 评论 -
hbase源码: RpcServer应答服务设计
hbase源码:RpcServer应答服务设计环境: hbase 1.2版本应答服务设计看源码的时候一个快捷键Ctrl +Shift + - ,很有用,可以尝试一下 hbase的RpcServer应答服务设计就是基于javanio来实现,RpcServer有点类似于聊天室的服务端,我之前写了一个基于javanio的聊...原创 2020-01-03 16:36:46 · 164 阅读 · 0 评论 -
hbase源码region分裂成两个子region
org/apache/hadoop/hbase/regionserver/SplitRequest.javaprivate void requestRegionSplit() { final TableName table = parent.getTable(); final RegionInfo hri_a = RegionInfoBuilder.newBuilder...原创 2019-12-24 15:08:43 · 328 阅读 · 0 评论 -
hbase分析之split策略
目录RegionSplitPolicyIncreasingToUpperBoundRegionSplitPolicy策略:SteppingSplitPolicy策略:ConstantSizeRegionSplitPolicy策略:KeyPrefixRegionSplitPolicy策略:DelimitedKeyPrefixRegionSplitPolicy策略:Busy...原创 2019-12-24 11:46:56 · 1690 阅读 · 0 评论 -
系统时间不同步问题: Reported time is too far out of sync with master
一个hbase从节点挂掉了报错:Reported time is too far out of sync with master解决方法:从节点同步主节点的时间(主节点:192.168.4.1)napdate 192.168.4.1linux安装ntpdate命令:[root@migu-cdn-hbase001 ~]# yum install ntp...原创 2019-12-10 11:01:07 · 1110 阅读 · 0 评论 -
Hbase的MapReduce(Hbase权威指南)+ BulkLoad导入HBase
目录Hbase权威指南第7张与MapReduce集成预测执行和版本介绍Hbase与MapReduce集成例7.1MapReduce作业从一个文件中读取数据并写入Hbase表MapReduce生成HFile文件,再使用BulkLoad导入HBase中Hbase权威指南第7张与MapReduce集成预测执行和版本介绍2.5.2.9. 预测执行 (...原创 2019-09-25 13:44:28 · 721 阅读 · 1 评论 -
hbase的表设计(采集cdn日志落地)
目录存储CDN的日志web查询RowKey 设计预分区rowkey的组成hbase存储优化spark streaming bulkload模式批量插入hbase存储CDN的日志场景: 落地的数据例如:[2019-09-19 05:58:31]192.168.10.10"http://video.media.an...原创 2019-09-23 11:33:40 · 1345 阅读 · 1 评论 -
python连接hbase出现message='No protocol version header' 报错
目录python连接hbase出现message='No protocol version header' 报错python 连接habse所需步骤python连接hbase出现message='No protocol version header' 报错错误原因1: hbase的thrift服务没启动 2: 端口有误, 不是9090启动hbase thrift服务...原创 2019-05-27 15:13:48 · 6571 阅读 · 3 评论 -
hadoop+hbase压缩snappy,gz
目录snappy压缩:gz压缩snappy压缩: 介绍snappy 安装工具 编译hadoop(生产文件) 测试 使用版本:hadoop-2.6.0-cdh5.7.0centos 7java 1.7.0_80开始情况:开始安装2.安装工具:java 安装并配置PATHjava下载路径:https://ww...原创 2018-11-20 18:08:45 · 683 阅读 · 1 评论 -
flink写入hbase
参考: https://www.cnblogs.com/swordfall/p/10527423.htmlflink 流处理写入数据到hbase. 采用的是批量写入(500条数据写入一次)。HBaseWriter.javapackage com.flink;import com.flink.model.DeviceData;import org.apache.commo...原创 2019-05-14 12:00:36 · 9261 阅读 · 3 评论 -
hbase遇到的一些问题
目录ERROR: org.apache.hadoop.hbase.ipc.ServerRunningYetException: Server is not running yetERROR:Cant't get master address from Zookeeper; znode data == nullERROR: org.apache.hadoop.hbase.Please...原创 2019-04-08 09:30:56 · 1299 阅读 · 0 评论