- 博客(7)
- 资源 (2)
- 收藏
- 关注
RSS订阅原创 HBase Coprocessor 协处理器
›HBase Coprocessor –RegionObserver => RDBMS trigger 类似触发器 –EndpointCoproc => RDBMS stored procedure 终端协处理器（聚合操作..） [coprocessor jar file location] | class name | [priority] | [arguments] 写法： alter 'table_name', METHOD => 'table_att', 'coprocessor
2016-07-11 16:47:59
925
原创 使用MR方案脚本访问HBase数据、Compact+Split问题-参数配置
Conpaction做的是数据文件合并，过大时Split，当一个region split 文件过多时还可以用 Merge去合并文件，避免Conpact、split跟下面四个参数都有关hbase.hregion.memstore.flush.size hbase.hregion.max.filezehbase.hstore.compactionThresholdhbase.majorcompaction
2016-07-11 11:04:04
840
原创 HBase rest API - GET、PUT/POST、的使用
要使用Hadoop，数据合并至关重要，HBase应用甚广。一般而言，需要 针对不同情景模式将现有的各种类型的数据库或数据文件中的数据转入至HBase 中。常见方式为：使用HBase的API中的Put方法； 使用HBase 的bulk load 工具；使用定制的MapReduce Job方式。GET、PUT/POST、 Postmancurl -H "Accept: application/json" http://...调用JRuby脚本
2016-07-10 21:53:14
3031
原创 HBase - BloomFilter（布隆过滤器）
hbase中有BloomFilter的功能,可以在有些情况下过滤掉不需要的hfile,节省IO。1.ROW：根据KeyValue中的row来过滤storefile。 2.ROWCOL：根据KeyValue中的row+qualifier来过滤storefile。 级别更细 设置： BLOOMFILTER => 'ROW',
2016-07-09 16:10:02
4912
转载 HBase建立二级索引的一些解决方案（Solr+hbase方案等）
1.基于Solr的HBase多条件查询原理很简单，将HBase表中涉及条件过滤的字段和rowkey在Solr中建立索引，通过Solr的多条件查询快速获得符合过滤条件的rowkey值，拿到这些rowkey之后在HBASE中通过指定rowkey进行查询。 2.Solr是一个独立的企业级搜索应用服务器，它对并提供类似干Web-service的API接口。用户可以通过http请求，向搜索引擎服务器提交一定格式的XML文件，生成索引；也可以通过Http Get操作提出查找请求，并得到XML格式的返回结果。 Solr
2016-07-09 15:25:01
5992
转载 HBase快照（Snapshot）技术
hbase>snapshot 'tableName','snapshotName' hbase>list_snapshots hbase>delete_snapshot 'snapshotName' hbsse>clone_snapshot 'snapshotName','newTableName' hbase>restore_snapshot 'snapshotName'
2016-07-09 15:19:28
2109
原创 Shell编程笔记-语法示例
Shell变量、 read命令、 expr、 test 整数 字符串 文件、 if …then …fi、 for…done、 awk、 for、 select 变量 in 关键字、 case..in…esac、 while..do..done、 until..do..done、 break、 continue、 函数、 sh -x script
2016-07-01 16:54:51
531
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人