adsitbbs-CSDN博客

原创随视云平台论坛正式开通：http://blog.csdn.net/adsitbbs

随视云平台论坛正式开通：http://blog.csdn.net/adsitbbs

2011-07-27 11:37:48 475

原创 java 通过jdbc驱动连接hive操作

1，hive首先要起动远程服务接口，命令：nohup hive –service hiveserver & 2，java工程中导入相应的需求jar包，列表如下:antlr-runtime-3.0.1.jarhive-exec-0.7.1.jarhive-

2011-08-31 16:16:43 1472

原创 hive 三种启动方式及用途，关注通过jdbc连接的启动

1， hive 命令行模式，直接输入/hive/bin/hive的执行程序，或者输入 hive –service cli 用于linux平台命令行查询，查询语句基本跟mysql查询语句类似 2， hive web界面的启动方式，hive –serv

2011-08-31 16:16:04 1118

原创 Hive HBase 整合(中文)

hive hbase整合，要求比较多，1.hive的得是0.6.0（当前最新的版本） 2.hive本身要求hadoop的最高版本是hadoop-0.20.2 3.要求hbase的版本是0.20.3，其他版本需要重新编译hive_hbase-handler 但是新版的h

2011-08-31 09:51:38 884

原创在windows xp系统下配置eclipse集成hadoop开发

一、目的：由于hadoop只能在Linux环境下运行，所以对于在windwos系统下使用IDE工作的开发人员来说，调试是件麻烦的工作，所以我们今天要配置的Hadoop开发环境是在Windows XP系统下，并集成eclipse使开发人员在做hadoop开发时更容易调试。二

2011-08-31 09:50:16 615

原创 ClientCnxn: Session 0x0 for server null, unexpected error Connection refused

坑爹的异常！这个异常碰到过多次每次有可能会是不同的地方出现问题导致，现在总结出来该异常的总体解决方向为：是zookeeper访问regionserver时候抛出的，一般是hbase-site.xml中的dns设置有问题，或者dns本身有问题，症状就为regionserver一

2011-08-12 10:19:05 2567 1

原创 java.io.IOException: Could not obtain block: blk

连续两个晚上跑数据出现这个异常，具体内容如下：2011-08-10 05:51:21,823 ERRORorg.apache.hadoop.hbase.regionserver.CompactSplitThread: Compaction/Splitfailed for

2011-08-12 10:18:23 7129

原创 hbase 根据需求创建组合索引（组合rowkey）及组合索引创建规则

hbase据我目前的了解来看《查询》方面的最大优势是根据rowkey 进行查询，然后结合map/reduce 运算效率非常高，但是如果牵扯到表关联查询，涉及到列簇中的列时，因为没有索引效率就变的非常低下，所以我这采用了组合索引（组合rowkey）方式来解决这个问题，下面采用简单

2011-08-10 09:38:28 3840 2

原创 Could not append.Requesting close of hlog

上几天跑程序，hadoop集群报了如下错误：2011-08-05 11:57:03,067 DEBUG org.apache.hadoop.hbase.regionserver.HRegion:Started memstore flush forwb_userinfo,sin

2011-08-10 09:37:45 562

原创 hbase java.lang.IllegalArgumentException: Could not resolve the DNS name of X.X.X.X:60020

主机修改了新的hostname，同时修改了master,regionserver节点，但是启动时发现仍然会解析老的hostnames，报告如下异常：13:21:04,340 INFO org.apache.hadoop.hbase.master.HMaster: -ROOT-

2011-08-03 18:44:38 1067

原创 Hadoop分布式集群系统添加节点

1、安装jdk1.6.0_26(安装java环境)Scp /etc/profile newnodeip:/etc2、安装hadoop及hbase、zookeeperYum install hadoop-0.20 Yum install hadoop-0.20-task

2011-07-27 11:16:59 628

原创 hadoop版本问题

通过yum方式动态添加新的datanode，启动从机器datanode时，会报如下错误：hadoopFATALorg.apache.hadoop.hdfs.server.datanode.DataNode: Incompatible build versions:namenode

2011-07-27 09:57:02 451

原创 hadoop节点热删除（动态删除）

今天在hadoop集群环境下需要将两台datanode删除，为了不影响在运行业务，需对节点进行动态删除，记录操作过程如下：1，从集群中移走节点，需要对移走节点的数据进行备份：在主节点的core-site.xml配置文件中添加如下内容： dfs.hosts.ex

2011-07-26 19:23:39 1356

随视云平台