![](https://img-blog.csdnimg.cn/20201014180756724.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Hbase
文章平均质量分 77
一无所有自知之明
热爱生命偶尔悲悯的乐观孩子
展开
-
sqoop之从oracle导入hbase的问题与sqoop hbase 需要注意的一个问题
sqoop从oracle导入, 需要有ojdbc6.jar,放在$SQOOP_HOME/lib里,不用添加到classpath里,因为sqoop会自己遍历lib文件夹并添加里面的所有jar包 --connect与mysql的不一样,如下(shell脚本中的主要部分)#Oracle的连接字符串,其中包含了Oracle的地址,SID,和端口号#CONNECTURL=jdbc:oracle:th原创 2011-11-09 20:38:55 · 21207 阅读 · 4 评论 -
hbase自带mapreduce计数表行数功能
$HBASE_HOME/bin/hbase org.apache.hadoop.hbase.mapreduce.RowCounter ‘tablename’ mapreduce来计数,很快的!!!原创 2012-12-18 10:00:27 · 10372 阅读 · 4 评论 -
自写filter步骤和注意事项
hbase本身提供了很多filter来实现服务器端过滤的功能,诸如Filter, FilterBase, CompareFilter;一些Comparators类;Comparison Filters;Dedicated Filters;Decorating Filters;FilterList;Custom Filters。但是这些filter往往不能满足我们的实原创 2012-12-13 15:54:14 · 3294 阅读 · 0 评论 -
用mapreduce来操作hbase的两点优化
用MR来对hbase的表数据进行分布式计算。有两点配置可以优化操作,提升性能。它们分别是:(1)scan.setCacheBlocks(false); 然后调用下面这句来初始化map任务 TableMapReduceUtil.initTableMapperJob这个配置项是干什么的呢? 本次mr任务scan的所有数据不放在缓存中,一方面节省了交换缓存的操作消耗,可以提升原创 2012-11-29 10:08:29 · 4938 阅读 · 0 评论 -
HTablePool简单使用例子
HTablePool用在经常要创建表关闭表的程序中,可以大大优化性能,提高效率。HTablePool()HTablePool(Configuration config, int maxSize)HTablePool(Configuration config, int maxSize, HTableInterfaceFactory tableFactory)maxSize并非tabl原创 2012-04-25 16:19:04 · 5367 阅读 · 0 评论 -
ScannerTimeoutException 问题分析与解决方法
遇到一些hadoop,hbase相关的异常,有时会有不知怎么解决的感觉,首先要确定问题,然后找出引起此问题的原因,再然后制定解决方案,最后选择一种实行。hbase源码如巨人般站在我们的心中,让心强大起来,巨人就变小了言归正传:1.首先寻根朔源scannerTimeout:Thrown when a scanner has timed out.当一个scanner超时时抛出此异常,是原创 2011-12-09 14:35:25 · 6792 阅读 · 2 评论 -
用MR(MapReduce)查询hbase数据-用到TableMapper和Scan
首先,可以设置scan的startRow, stopRow, filter等属性。于是两种方案:1.设置scan的filter,然后执行mapper,再reducer成一份结果2.不用filter过滤,将filter做的事传给mapper做进行了测试,前者在执行较少量scan记录的时候效率较后者高,但是执行的scan数量多了,便容易导致超时无返回而退出的情况。而为了实现后者,学会了如何原创 2012-01-12 20:32:15 · 27937 阅读 · 13 评论 -
实验hbase的test中的TestTableMapReduce类--修改成简单易懂点的
不积跬步,无以至千里!这几天狂看mapreduce对hbase进行操作的例子,消化吸收,熟能生巧,掌握mapreduce和hbase交互的各个细节,以及整体流程等,整体流程等年前写一篇总结下,这几天先狂看吧看,复制,修改,运行,遇到各种问题,解决,慢慢的就熟了。这个类是干啥的呢,其实就是对hbase的某表进行简单操作,不过用的是mapreduce,即效率高,当然,看这个,主要吸收其用m原创 2012-01-10 15:29:53 · 3713 阅读 · 0 评论 -
eclipse写MAPREDUCE程序对HBase表进行操作之 IndexBuilder(对已有表建索引)
开源 hbase的example/mapreduce里有个类IndexBuilder是用来对已有表建索引的。其代码有一点点需要修改conf.set(TableInputFormat.SCAN, TableMapReduceUtil.convertScanToString(new Scan()));conf.set(TableInputFormat.SCAN, convertScanToSt原创 2012-01-09 20:18:41 · 8841 阅读 · 7 评论 -
HBase addColumn addColumns 两个函数的deprecated解决方法
HBase addColumn addColumns 两个函数的deprecated解决方法 用HBase0.90.4版本,又用ITHBase,ITHBase称自己支持 HBase0.90版本的,但是有一些error和warning,error的解决方法在前一篇文章二级索引安装配置里说过了。而很多的warning都跟addColumn(), addColumns()这两个函数有关,大体意思就是原创 2011-12-14 10:40:06 · 5309 阅读 · 0 评论 -
直击Hadoop中国云计算大会:HBase安全性
一年一度的Hadoop中国2011云计算大会,作为Hadoop in China社区的一次年度技术盛会,于12月2日至3日在北京成功举行。大会的亮点之一就是邀请了多位Apache软件基金会的专家,例如Apache软件基金会主席兼Apache Hadoop项目负责人Doug Cutting先生等。大会的第二天,记者参加的“Hadoop生态系统”分会场报告环节。Trend Micro的专家兼Apach转载 2011-12-15 11:36:26 · 1350 阅读 · 0 评论 -
实现HBase二级索引的配置与使用--ITHBase
遇到自己眼中乱如麻、大如山的问题,保持平常心,不要急躁,冷静的分析思考寻找突破点,解决之后,发现原来那些如山如麻般的问题其实只是小土丘子、小线团子一 ITHbase的安装配置ITHbase的全称是 Indexed Transactional HBase,事务性是它的重要特性。1.编译(1)用eclipse作为项目打开hbase-trx-hbase-transactional-tab原创 2011-12-06 09:09:44 · 8101 阅读 · 19 评论 -
在mysql/oracle新建列将现有几列连接起来作为其值以用sqoop导入到hbase时作为rowkey
在上一篇文章:sqoop之从oracle导入hbase的问题与sqoop hbase 需要注意的一个问题的最后我提出了一个待研究的问题:对rdbms,如mysql中的一个表,假设有四列,由于hbase的rowkey设计好了会极大提高查询效率,一般将其rowkey用mysql中的三列组合起来,即假设mysql表中为:姓名,出生年月,地点,工资。可以令rowkey为姓名_出生年月_地点原创 2011-11-10 10:15:55 · 5443 阅读 · 2 评论 -
用hbase(0.92版本以上)的协处理器实现快速返回查询结果总数
在0.92版本的hbase上添加了协处理器的功能,协处理器分为两大部分 endpoint和observer.observer相当于一个钩子的作用,根据钩子运行的模块来划分,又分成三个RegionObserver:用这个做数据操纵事件,其紧密的绑定到表的regionMasterObserver:处理集群级别的事件:管理操作和数据定义语言操作WALObserver:预写日志处理而e原创 2013-01-14 16:19:06 · 6512 阅读 · 5 评论