hbase
duguyiren3476
这个作者很懒,什么都没留下…
展开
-
hbase常见错误及解决方法
1. 运行hbase shell 时错误:ERROR: org.apache.hadoop.hbase.MasterNotRunningException: Retried 7 times 解决办法:A:如果rootdir配置的是使用hdfs,检查是否hdfs服务进程没有打开,请启动hadoop。 B:确认hadoop已经启动...原创 2012-08-16 14:59:52 · 1331 阅读 · 0 评论 -
压缩 HDFS 上的文件, 提供使用者下載
(转)今天的進度是研究如何讓使用者透過網路來下載 HDFS 上的檔案,基本上這和壓縮一般的檔案沒什麼兩樣,直接透過 java 內建的 java.util.zip 套件就可以輕易做到了。唯一的差別,在這裡要用 Hadoop API 提供的 FSDatainputStream 來開啟檔案串流,然後逐一寫入到壓縮串流就可以完成檔案壓縮的目的。 而在操作流程的上,使用者會先選...原创 2012-09-06 13:48:13 · 104 阅读 · 0 评论 -
nutch 集成 hbase
nutch安装安装软件准备安装环境:centos 6.5nutch:v2.2.1hbase:v0.94.18本篇重点讲述nutch的安装和nutch与hbase的集成,hbase的安装请参考其他资料;安装步骤:安装ant:因编译nutch源码,需要ant工具,下载apache-ant 设置 系统变量写道[hadoop@master nutch]$ vim ...原创 2014-06-27 11:23:08 · 138 阅读 · 0 评论 -
HBase 多master 安装配置
HBase 多master hbase master 多master hbase HA hbase的hmaster不保存数据,而是起到region分裂,regionserver宕机后region的重新分配和有关表的DML操作,在hmaster宕机后只要不进行上述三种情况的操作,几乎不用考虑hmaster,先将多hmaster配置详细如下:首先搭建单节点hmaster集...原创 2015-03-26 17:38:57 · 726 阅读 · 0 评论 -
HBase 查看HFile内容
HBase 查看HFile内容 hbase 查看HFile hbase的数据文件最终存放的是HFile文件,即对MFile存储格式的封装修改,存储的为二进制格式内容,目前hbase提供的hbase org.apache.hadoop.hbase.io.hfile.HFile 工具类可以查看HFile文件内容,对排查region的分布情况有很大用途,以下为查询步骤:定位HFil...原创 2015-03-26 17:54:42 · 742 阅读 · 0 评论 -
Phoenix设置时间戳
Phoenix设置时间戳 phonex-4.3 hbase-0.98.10 环境 phonex-4.3,hbase-0.98.10,hadoop-2.5.2 设置时间戳 使用hbase的TTL机制用来定时删除过期的数据记录,但是默认的是数据插入是的系统时间戳,显然不可以,需要手动设置时间戳,找了半天,官方文档上提到CurrentSCN 的描述,最终使用java客户端设置时间戳...原创 2015-04-07 19:13:45 · 2238 阅读 · 0 评论 -
测试hbase预设分区
测试hbase预设分区 phonex-4.3 hbase-0.98.10 环境 hbase-0.98.10,hadoop-2.5.2 预设分区使用hbase为了在写入阶段避免个别节点过热,通过数据的分布图,在创建表的时候预设表的分区:create 'test_splits', {NAME => 'cf', VERSIONS=> 3},{SPLITS ...原创 2015-04-07 20:06:22 · 288 阅读 · 0 评论 -
HBase Shell在crt中输入命令无法删除问题解决技巧
HBase shell使用过程中,使用CRT客户端,命令输入后无法删除一直困绕着我,今天终于受不了,几番度娘,谷哥之后,终于有了解决方法,特共享给大家。secureCRT中,点击【选项】【回话选项】【终端】【仿真】,右边的终端选择linux...原创 2014-11-25 17:37:42 · 313 阅读 · 0 评论