Hbase
翔飞天宇
资料共享,相互学习,共同进步
展开
-
hbase bulk load 小实践及一些总结
转载请注明出处:http://blog.csdn.net/lonelytrooper/article/details/17042391很早就知道bulk load这个东西,也大致都清楚怎么回事,居然直到前几天才第一次实践... 这篇文章大致分为三个部分:1. 使用Hbase自带的importtsv工具2. 自己实现写mr生成hfile并加载3. bulk load本身及对依赖的转载 2017-07-10 18:52:22 · 2363 阅读 · 0 评论 -
HBase scan setBatch和setCaching的区别
HBase的查询实现只提供两种方式:1、按指定RowKey获取唯一一条记录,get方法(org.apache.hadoop.hbase.client.Get)2、按指定的条件获取一批记录,scan方法(org.apache.Hadoop.Hbase.client.Scan)实现条件查询功能使用的就是scan方式,scan在使用时有以下几点值得注意:1、scan可以通过s原创 2017-08-30 16:58:34 · 803 阅读 · 0 评论 -
Spark 下操作 HBase(1.0.0 新 API)
HBase经过七年发展,终于在今年2月底,发布了 1.0.0 版本。这个版本提供了一些让人激动的功能,并且,在不牺牲稳定性的前提下,引入了新的API。虽然 1.0.0 兼容旧版本的 API,不过还是应该尽早地来熟悉下新版API。并且了解下如何与当下正红的 Spark 结合,进行数据的写入与读取。鉴于国内外有关 HBase 1.0.0 新 API 的资料甚少,故作此文。本文将分两部分介绍,第转载 2016-09-02 14:26:05 · 619 阅读 · 0 评论 -
yarn中resourcemanager启动不了,启动hregionserver后又挂掉了问题的解决
启动Hadoop-2.2.0中的yarn时,resourcemanager进程一直没有启动起来。查看日志文件中的信息tail -n 50 yarn-dell-resourcemanager-master1.log出现一下异常:2016-09-09 14:41:09,341 INFO org.apache.hadoop.service.AbstractService: Service R原创 2016-09-09 15:23:40 · 20495 阅读 · 0 评论 -
Hbase shell常用命令总结
输入help命令看所有命令及分组情况。1.当前用户 whoami2.看hbase服务器状态 status3.看hbase版本 version4.列出所有的表 list5.创建表,可使用create help命令看创建案列 create 't1','cl1','cl2','cl3'说明:表名t1,三个列族cl1,cl2,cl36.查看表详细信息 d原创 2016-09-13 14:46:48 · 658 阅读 · 0 评论 -
HBase总结之数据导入方式
*). Client API实现借助HBase的Client API来导入, 是最简易学的方式.Configuration config = HBaseConfiguration.create(); // 配置hbase.zookeeper.quorum: 后接zookeeper集群的机器列表 config.set("hbase.zookeeper.quorum", "tw-nod转载 2016-09-13 16:22:46 · 3006 阅读 · 0 评论 -
Hbase总结之hbase37个笔试题
以下试题是摘自互联网的基础上自己加了选项说明解释便于自己以后看时方便节省时间1. HBase来源于哪篇博文? CA The Google File SystemB MapReduceC BigTableD Chubby2. 下面对HBase的描述哪些是正确的? B、C、DA 不是开源的B 是面向列的C 是分布式转载 2016-09-13 16:39:58 · 3552 阅读 · 0 评论 -
HBase性能优化方法总结
本文主要是从Hbase应用程序设计与开发的角度,总结几种常用的性能优化方法。有关hbase系统配置级别的优化,这里涉及的不多,这部分可以参考:淘宝Ken Wu同学的博客。1. 表的设计1.1 Pre-Creating Regions默认情况下,在创建HBase表的时候会自动创建一个region分区,当导入数据的时候,所有的HBase客户端都向这一个region写数据,直原创 2017-07-07 18:03:23 · 663 阅读 · 0 评论 -
MapReduce生成HFile入库到HBase
一、这种方式有很多的优点:1. 如果我们一次性入库hbase巨量数据,处理速度慢不说,还特别占用Region资源, 一个比较高效便捷的方法就是使用 “Bulk Loading”方法,即HBase提供的HFileOutputFormat类。2. 它是利用hbase的数据信息按照特定格式存储在hdfs内这一原理,直接生成这种hdfs内存储的数据格式文件,然后上传至合适位置,即完成巨量数据快速入原创 2017-07-06 20:30:30 · 2341 阅读 · 0 评论 -
hbase bulk load相关源码简析之PutSortReducer、KeyValueSortReducer
转载请注明出处: http://blog.csdn.net/lonelytrooper/article/details/17040895PutSortReducer:[java] view plain copy // 对map阶段传递过来的puts中的KVs做排序,并将有序的KVs写到输出流(最终写的类是HFileWriterV1或HFileWriterV2转载 2017-07-10 18:55:12 · 431 阅读 · 0 评论 -
hbase bulk load相关源码简析之HFileOutputFormat、LoadIncrementalHFiles
转载请注明出处: http://blog.csdn.net/lonelytrooper/article/details/17040895PutSortReducer:[java] view plain copy // 对map阶段传递过来的puts中的KVs做排序,并将有序的KVs写到输出流(最终写的类是HFileWriterV1或HFileWriterV2转载 2017-07-10 18:53:49 · 932 阅读 · 0 评论 -
hbase集群中的从节点的Hregionserver进程出现闪退现象解决办法
2018-01-16 13:23:38,879 INFO [main] ipc.SimpleRpcScheduler: Using default user call queue, count=202018-01-16 13:23:38,890 ERROR [main] regionserver.HRegionServerCommandLine: Region server exiting原创 2018-01-16 13:37:26 · 1905 阅读 · 0 评论