Hadoop
文章平均质量分 76
adsitbbs
做中国云计算导航人!!
做传媒业云平台领路人!!!
展开
-
hadoop节点热删除(动态删除)
今天在hadoop集群环境下需要将两台datanode删除,为了不影响在运行业务,需对节点进行动态删除,记录操作过程如下:1, 从集群中移走节点,需要对移走节点的数据进行备份:在主节点的core-site.xml配置文件中添加如下内容: dfs.hosts.ex原创 2011-07-26 19:23:39 · 1360 阅读 · 0 评论 -
在windows xp系统下配置eclipse集成hadoop开发
一、目的: 由于hadoop只能在Linux环境下运行,所以对于在windwos系统下使用IDE工作的开发人员来说,调试是件麻烦的工作,所以我们今天要配置的Hadoop开发环境是在Windows XP系统下,并集成eclipse使开发人员在做hadoop开发时更容易调试。 二原创 2011-08-31 09:50:16 · 616 阅读 · 0 评论 -
java.io.IOException: Could not obtain block: blk
连续两个晚上跑数据出现这个异常,具体内容如下: 2011-08-10 05:51:21,823 ERRORorg.apache.hadoop.hbase.regionserver.CompactSplitThread: Compaction/Splitfailed for原创 2011-08-12 10:18:23 · 7136 阅读 · 0 评论 -
ClientCnxn: Session 0x0 for server null, unexpected error Connection refused
坑爹的异常!这个异常碰到过多次每次有可能会是不同的地方出现问题导致, 现在总结出来该异常的总体解决方向为:是zookeeper访问regionserver时候抛出的,一般是hbase-site.xml中的dns设置有问题,或者dns本身有问题,症状就为regionserver一原创 2011-08-12 10:19:05 · 2574 阅读 · 1 评论 -
hbase 根据需求创建组合索引(组合rowkey)及组合索引创建规则
hbase据我目前的了解来看 《查询》方面的最大优势是根据rowkey 进行查询,然后结合map/reduce 运算效率非常高,但是如果牵扯到表关联查询,涉及到列簇中的列时,因为没有索引效率就变的非常低下,所以我这采用了组合索引(组合rowkey)方式来解决这个问题,下面采用简单原创 2011-08-10 09:38:28 · 3844 阅读 · 2 评论 -
Could not append.Requesting close of hlog
上几天跑程序,hadoop集群报了如下错误: 2011-08-05 11:57:03,067 DEBUG org.apache.hadoop.hbase.regionserver.HRegion:Started memstore flush forwb_userinfo,sin原创 2011-08-10 09:37:45 · 565 阅读 · 0 评论 -
hbase java.lang.IllegalArgumentException: Could not resolve the DNS name of X.X.X.X:60020
主机修改了新的hostname,同时修改了master,regionserver节点,但是启动时发现仍然会解析老的hostnames,报告如下异常: 13:21:04,340 INFO org.apache.hadoop.hbase.master.HMaster: -ROOT-原创 2011-08-03 18:44:38 · 1070 阅读 · 0 评论 -
java 通过jdbc驱动连接hive操作
1,hive首先要起动远程服务接口,命令: nohup hive –service hiveserver & 2,java工程中导入相应的需求jar包,列表如下: antlr-runtime-3.0.1.jar hive-exec-0.7.1.jar hive-原创 2011-08-31 16:16:43 · 1474 阅读 · 0 评论 -
hive 三种启动方式及用途,关注通过jdbc连接的启动
1, hive 命令行模式,直接输入/hive/bin/hive的执行程序,或者输入 hive –service cli 用于linux平台命令行查询,查询语句基本跟mysql查询语句类似 2, hive web界面的启动方式,hive –serv原创 2011-08-31 16:16:04 · 1119 阅读 · 0 评论 -
hadoop版本问题
通过yum方式动态添加新的datanode,启动从机器datanode时,会报如下错误:hadoopFATALorg.apache.hadoop.hdfs.server.datanode.DataNode: Incompatible build versions:namenode原创 2011-07-27 09:57:02 · 454 阅读 · 0 评论 -
Hive HBase 整合(中文)
hive hbase整合,要求比较多,1.hive的得是0.6.0(当前最新的版本) 2.hive本身要求hadoop的最高版本是hadoop-0.20.2 3.要求hbase的版本是0.20.3,其他版本需要重新编译hive_hbase-handler 但是新版的h原创 2011-08-31 09:51:38 · 886 阅读 · 0 评论