潇水汀寒

运行SQL时出了个错：SQL： INSERT OVERWRITE DIRECTORY 'result/testConsole' select count(1) from nutable; 错误信息：Failed with exception Unable to rename: hdfs://indigo:8020/tmp/hive-root/hive_2013-08-22_17-35-05

调试前先确定 hive shell 能正常工作，今天因为这个多花了很长时间有两个 RunJar进程并不表示HiveServer 运行正常，可查看服务状态来确定/etc/init.d/hive-server2 status自己加的HOOK中访问的Web工程地址是局域网地址，总是访问不到，才发现启动JBOSS要加参数 -b 0.0.0.0

这里下载代码：https://github.com/cloudera/hive/tree/cdh4-0.10.0_4.3.0修改build.properties在http://www.apache.org/dyn/closer.cgi/hadoop/core/ 中为   hadoop.mirror 找个地址 eclipse 安装 ivy 插件编译 ：

StartHookPreHookPostHookFinishHookFailureHook1、Driver.run 逻辑：执行hook,  编译SQL，执行SQL，执行hook。此处读的hook 的配置：hive.exec.driver.run.hookspublic CommandProcessorResponse run(String command, bo

at org.apache.hadoop.hive.ql.Driver.execute(Driver.java:1108) at org.apache.hadoop.hive.ql.Driver.run(Driver.java:973) at org.apache.hadoop.hive.ql.Driver.run(Driver.java:893) at org.apache.hadoop.

原来用 hive shell 时从没考虑过在哪个目录下使用，有时候在不同目录下还是有区别的，如下面异常，只要换个目录再运行就没这个问题了：[apache@indigo hive]$ pwd/home/apache/diary/0829/hdp_manual_install_rpm_helper_files-2.0.0.22/configuration_files/hive[apache@i

从客户端提交一个 Hive SQL  到 Driver 提交 MapReduce Job，有一个对SQL进行词法分析和语义分析的过程，下面以 select count(*) from tableName 来描述其过程。一、词法分析使用ANTLR分析SQL，生成语法树，每个节点是一个 ASTNode，它有自己的类型。来看看 select count(*) from tableName 的

1、设置三个参数：hive.exec.compress.output 声明对 hive 查询的输出结果进行压缩，并指定压缩方式为 Snappy。对SequenceFile 有 mapred.output.compression.type，在CDH4中默认就是 BLOCK。SET hive.exec.compress.output=true;SET mapred.output.com

Snappy,Lzo,bzip2,gzip,deflate 都是hive常用的文件压缩格式,各有所长,这里咱们只关注具体文件的解压一、先贴代码：package compress;import org.apache.commons.logging.Log;import org.apache.commons.logging.LogFactory;import org.apache.