Hbase
超风
这个作者很懒,什么都没留下…
展开
-
HBase架构组成
HBase架构组成HBase采用Master/Slave架构搭建集群,它隶属于Hadoop生态系统,由一下类型节点组成:HMaster节点、HRegionServer节点、ZooKeeper集群,而在底层,它将数据存储于HDFS中,因而涉及到HDFS的NameNode、DataNode等,总体结构如下:其中HMaster节点用于:管理HRegionServer,实现其负载均衡。转载 2017-07-16 16:13:18 · 1111 阅读 · 0 评论 -
基于solr实现hbase的二级索引
基于solr实现hbase的二级索引我来了! 发表于 1年前 (2014-11-17 08:44:03) | 评论(0) | 阅读次数(4723)| 0 人收藏此文章, 我要收藏 一、目的 了解hbase的都知道,由于hbase基于行健有序存储,在查询时使用行健十分高效,然后想要实现关系型数据库那样可以随意组合的多条件查询、查询总记录数、分页等就比较麻烦了。想要实转载 2017-06-22 14:01:58 · 404 阅读 · 0 评论 -
solr安装与配置
这篇文章主要是介绍在Centos6上Solr6.5的安装与配置。一、安装准备及各软件使用版本说明:1、JDK8,版本jdk1.8.0_121下载地址:jdk-8u121-linux-x64.tar.gz2、Apache Tomcat,版本8.5.13 下载地址:apache-tomcat-8.5.13.tar.gz3、Solr,版本solr-6.5.0,下载地址:s转载 2017-05-22 19:46:40 · 361 阅读 · 0 评论 -
通过BulkLoad的方式快速导入海量数据
转载自:http://www.cnblogs.com/MOBIN/p/5559575.html加载数据到HBase的方式有多种,通过HBase API导入或命令行导入或使用第三方(如sqoop)来导入或使用MR来批量导入(耗费磁盘I/O,容易在导入的过程使节点宕机),但是这些方式不是慢就是在导入的过程的占用Region资料导致效率低下,今天要讲的就是利用HBase在转载 2017-05-22 09:09:30 · 1667 阅读 · 0 评论 -
HBase hbck——检察HBase集群Region的一致性
有时候需要从装hbase表,忘记删除表中数据,导致新建的表无法和前面的表同名,报表已经存在,这只是一个小问题,但是有时候没有报表不存在,但是报: org.apache.hadoop.hbase.NotServingRegionException: Region FPL,,1466475487627.98263b44ca5774cd901dedd4637d17ba. is not onl原创 2016-07-17 19:08:35 · 1014 阅读 · 0 评论 -
HBase中的僵尸表
今天遇到了一个恶心的问题:在HBase里面drop一个表,再重建,结果出错说这个表已经存在。再删,出错说这个表不存在。在网上找,很多人说是因为.META.表里面残存了僵尸表的信息。但是在hbase shell中scan ".META."之后,没有发现任何问题。后来找到了这篇文章,解决了问题:http://arnon.me/2013/01/killing-hbase-zomb转载 2016-06-23 22:09:03 · 628 阅读 · 0 评论 -
Hbase集群安装步骤
1:下载解压hbase安装包,分别到每台电脑上。我安装版本是1.2.0.2:配置hbaseregionservers里面主要添加节点,把对应的名称写上去。我的是192.168.8.101192.168.8.102192.168.8.103hbase-env.sh主要添加一些hadoop、habse 、Java安装路径,还有一个比较关键的是HABSE_LOG_DIR路原创 2016-04-10 13:25:59 · 449 阅读 · 0 评论 -
hbase直接存取图片
文章转载自: http://blog.csdn.net/king_sky_wjb/article/details/30246441 @ 键盘上的孤舞者package hbase.test; import java.io.IOException; import org.apache.commons.io.FileUtils; import org.apache.hadoop.conf.Configu转载 2016-04-05 13:32:28 · 1434 阅读 · 0 评论 -
将Hdfs数据往Hbase表中导入
package Hbase;import java.io.IOException; import java.text.SimpleDateFormat; import java.util.Date; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.hbase.HBaseConfiguration;原创 2016-03-31 18:35:30 · 2612 阅读 · 0 评论 -
将行转换成列存储在其它文件中
读取每一行保存自某一个问价原创 2016-03-29 21:36:56 · 348 阅读 · 0 评论 -
启动hbase之后一会HMaster就断开
找了很多方法,也查看了log文件,也知道hbase-site.xml配置错误,找到了一个解决办法,大家仅供参考:在hbase-site.xml 添加一栏 hbase.master.maxclockskew 180000 Time difference of regionserver from master原创 2016-03-02 19:49:42 · 7351 阅读 · 2 评论 -
关于使用hbase进行多维度条件实时查询的方案调研
关于使用hbase进行多维度条件实时查询的方案调研。1.MapReduce方案 优点:并发批量构建Index 缺点:不能实时构建Index 2.ITHBASE方案 缺点:需要重构hbase,几年没有更新。 3.IHBASE方案 缺点:需要重构hbase。 4.Coprocessor方案 华为的HBase二级索引采用此方案(hindex转载 2018-02-01 12:59:53 · 552 阅读 · 0 评论