Hbase
图特摩斯科技
数据库方向-图数仓的发明者,时序、多维、异构、动态+静态知识图谱数据库AbutionGraph发明者。
展开
-
HBase 2.2 随机读写性能测试
测试环境测试环境包括测试过程中HBase集群的拓扑结构、以及需要用到的硬件和软件资源,硬件资源包括:测试机器配置、网络状态等等,软件资源包括操作系统、HBase相关软件以及测试工具等。集群拓扑结构本次测试中,测试环境总共包含3台物理机作为Hadoop数据存储,其中2台物理机作为RegionServer部署宿主机,每个宿主机上起2个RegionServer节点,整个集群一共4个Regio...转载 2020-02-28 13:37:47 · 1612 阅读 · 0 评论 -
Ubuntu16.04配置Hbase-1.2.1伪/全分布式环境
1.下载解压、配置环境变量、ssh、zoo要是奇数个版本: 不用hbase自带的zoo,,自己安装zookeeper-3.4.8 hbase1.2.1 hadoop2.7.1 2.修改hbase-env.sh# The java implementation to use. Java 1.7+ required. export JAVA_HOME=/home/raini原创 2016-05-15 15:15:34 · 1553 阅读 · 0 评论 -
使用MR方案脚本访问HBase数据、Compact+Split问题-参数配置
Conpaction做的是数据文件合并,过大时Split,当一个region split 文件过多时还可以用 Merge去合并文件,避免Conpact、split跟下面四个参数都有关hbase.hregion.memstore.flush.size hbase.hregion.max.filezehbase.hstore.compactionThresholdhbase.majorcompaction原创 2016-07-11 11:04:04 · 856 阅读 · 0 评论 -
HBase rest API - GET、PUT/POST、的使用
要使用Hadoop,数据合并至关重要,HBase应用甚广。一般而言,需要 针对不同情景模式将现有的各种类型的数据库或数据文件中的数据转入至HBase 中。常见方式为:使用HBase的API中的Put方法; 使用HBase 的bulk load 工具;使用定制的MapReduce Job方式。GET、PUT/POST、 Postmancurl -H "Accept: application/json" http://...调用JRuby脚本原创 2016-07-10 21:53:14 · 3099 阅读 · 0 评论 -
HBase Coprocessor 协处理器
›HBase Coprocessor –RegionObserver => RDBMS trigger 类似触发器 –EndpointCoproc => RDBMS stored procedure 终端协处理器(聚合操作..) [coprocessor jar file location] | class name | [priority] | [arguments] 写法: alter 'table_name', METHOD => 'table_att', 'coprocessor原创 2016-07-11 16:47:59 · 940 阅读 · 0 评论 -
HBase快照(Snapshot)技术
hbase>snapshot 'tableName','snapshotName' hbase>list_snapshots hbase>delete_snapshot 'snapshotName' hbsse>clone_snapshot 'snapshotName','newTableName' hbase>restore_snapshot 'snapshotName'转载 2016-07-09 15:19:28 · 2155 阅读 · 0 评论 -
HBase建立二级索引的一些解决方案(Solr+hbase方案等)
1.基于Solr的HBase多条件查询原理很简单,将HBase表中涉及条件过滤的字段和rowkey在Solr中建立索引,通过Solr的多条件查询快速获得符合过滤条件的rowkey值,拿到这些rowkey之后在HBASE中通过指定rowkey进行查询。 2.Solr是一个独立的企业级搜索应用服务器,它对并提供类似干Web-service的API接口。用户可以通过http请求,向搜索引擎服务器提交一定格式的XML文件,生成索引;也可以通过Http Get操作提出查找请求,并得到XML格式的返回结果。 Solr转载 2016-07-09 15:25:01 · 6022 阅读 · 0 评论 -
HBase - BloomFilter(布隆过滤器)
hbase中有BloomFilter的功能,可以在有些情况下过滤掉不需要的hfile,节省IO。1.ROW:根据KeyValue中的row来过滤storefile。 2.ROWCOL:根据KeyValue中的row+qualifier来过滤storefile。 级别更细 设置: BLOOMFILTER => 'ROW',原创 2016-07-09 16:10:02 · 4952 阅读 · 0 评论