Hadoop
文章平均质量分 60
duguduchong
这个作者很懒,什么都没留下…
展开
-
hive的sql解析
写了一个下午,实现了表级别的sql解析。但后来知道taobao那边已经有了完备的字段级别的sql解析工具,所以也就没必要在写下去了。不过还是要将表级别的sql解析介绍介绍,毕竟也写了几百行代码。先把最后的解析结果贴出来:hive> ?select * from sunwg;0 TOK_QUERY sunwg QueryFromClauseTime taken: 0.0010 sec转载 2012-03-08 17:24:15 · 3101 阅读 · 2 评论 -
Hive metastore三种存储方式
转自http://www.fuzhijie.me/?p=377测试环境下Hive总出问题,metastore的配置有问题。抽了点时间,把Hive的meta数据几种存储方式都配置了下。Hive的meta数据支持以下三种存储方式,其中两种属于本地存储,一种为远端存储。远端存储比较适合生产环境。Hive官方wiki详细介绍了这三种方式,链接为:Hive Metastore。一、使用d转载 2013-04-26 23:18:14 · 2894 阅读 · 0 评论 -
编译hive时遇到 failed to create task or type osfamily问题
一、前言在用ANT编译hive源码时遇到这个问题二、解决办法 打开build-common.xml文件在 前面添加一行 同时下载ant-contrib-0.3.jar 并放在$ANT_HOME/lib目录下。重新编译,问题解决 三、总结 osfamily是每三方的ant task,其是在ant-contrib.ja原创 2013-04-27 21:17:03 · 1813 阅读 · 0 评论 -
SVN中 “containing working copy admin area is missing” 问题
一、前言场景描述通过SVN中创建了一个目录 ,结果没有在svn中删除 ,而是直接到资源管理器或者finder中删除 了。这时SVN会报错,说找不到建立的那个目录了,错误信息就是: “containing working copy admin area is missing”如 Directory 'XX/.svn' containing working copy admin原创 2013-04-28 00:48:30 · 51499 阅读 · 4 评论 -
hive -e "show tables"提示cannot recognize input near 'show' '<EOF>' '<EOF>' in ddl statement
一、前言 项目需要,需要知道hive的支持的最大并发用户数目是否满足需求,因此,写了个小程序测试 ,方式是java调用命令行程序的方式进行。即: Process executor = Runtime.getRuntime().exec(command,env);但是这样做面临一个问题,就是在命令行输入hive -e "show tables"一切正常,如下所示。原创 2013-05-20 16:11:23 · 26040 阅读 · 4 评论 -
Error in metadata: java.lang.RuntimeException: Unable to instantiate org.apache.hadoop.hive.metastor
一 前言操作中遇到问题[niy@niy-computer trunk]$ hiveLogging initialized using configuration in file:/home/niy/workspace1/hive/trunk/conf/hive-log4j.propertiesHive history file=/tmp/niy/hive_job_log_niy_20原创 2013-05-23 17:11:46 · 7458 阅读 · 0 评论 -
MetaException(message:file:/user/hive/warehouse/xxxx is not a directory or unable to create one)
一 前言在eclipse中编译调试hive 时出现以下问题启动clidriver程序在 console执行命令如下hive> create table xxxx(id int);create table xxxx(id int);FAILED: Error in metadata: MetaException(message:file:/user/hive/wareho原创 2013-05-30 00:16:08 · 7903 阅读 · 1 评论 -
用jdbc连接hive server需要用到的 几个jar包
如题所示。# To run the program in standalone mode, we need the following jars in the classpath# from hive/build/dist/lib# hive_exec.jar# hive_jdbc.jar# hive_metastore.jar# hive_ser原创 2013-07-20 11:31:59 · 11135 阅读 · 1 评论 -
启动hive hwi服务时出现 HWI WAR file not found错误
./hive --service hwi[niy@niy-computer /]$ $HIVE_HOME/bin/hive --service hwi13/04/26 00:21:17 INFO hwi.HWIServer: HWI is starting up13/04/26 00:21:18 FATAL hwi.HWIServer: HWI WAR file not found原创 2013-04-26 00:20:27 · 7099 阅读 · 0 评论 -
hadoop0.20.2在eclipse中的编译
1. 下载Hadoop源代码Hadoop 各成员源代码下载地址:http://svn.apache.org/repos/asf/hadoop,请使用SVN下载,在SVN浏览器中将trunk目录下的源代码check-out 出来即可。请注意只check-out出SVN 上的tag 目录下的内容,如:http://svn.apache.org/repos/asf/hadoop/common/t转载 2013-03-24 22:31:13 · 3217 阅读 · 0 评论 -
HIVE中的自定义函数(临时函数和永久函数)
转自http://li.angshan.blog.163.com/blog/static/13133228920123123572628/2011-12-11 11:53hive默认的函数并不是太完整,以后我们使用的使用肯定需要自己补充一些。下面这个例子是个简单的测试,关于自定义函数的。函数代码package com.example.hive.udf;import转载 2013-03-11 23:19:43 · 16535 阅读 · 2 评论 -
Hive中的ObjectInspector设计
转自 http://db3.iteye.com/blog/1072778ObjectInspector是Hive中一个咋一看比较令人困惑的概念,当初读Hive源代码时,花了很长时间才理解。 当读懂之后,发现ObjectInspector作用相当大,它解耦了数据使用和数据格式,从而提高了代码的复用程度。 简单的说,ObjectInspector接口使得Hive可以不拘泥于一种特定数据格式,使得数转载 2013-03-17 21:50:13 · 5358 阅读 · 1 评论 -
hive 初始化运行流程
转自http://www.cnblogs.com/end/archive/2012/12/19/2825320.htmlCliDriver 初始化过程 CliDriver.main 是 Cli 的入口 (1) 解析(Parse)args,放入cmdLine,处理 –hiveconf var=val 用于增加或者覆盖hive/hadoop配置,设置到System的转载 2013-03-18 20:01:46 · 2173 阅读 · 0 评论 -
Hadoop中mapred包和mapreduce包的区别
今天写了段代码突然发现,很多类在mapred和mapreduce中分别都有定义,下面是小菜写的一段代码:public class MyJob extends Configured implements Tool{ public static class MapClass extends MapReduceBase implements Mapper {//转载 2013-03-20 01:15:18 · 769 阅读 · 0 评论 -
Hadoop中ssh: Could not resolve hostname问题
[niy@niy-computer hadoop-0.20.2]$ start-all.sh starting namenode, logging to /usr/local/hadoop-0.20.2/bin/../logs/hadoop-niy-namenode-niy-computer.out127.0.0.1: ssh: Could not resolve hostname \357\原创 2013-03-21 17:54:01 · 29473 阅读 · 0 评论 -
org.apache.hadoop.mapred.InvalidInputException: Input path does not exist问题
在eclipse中跑Hadoop测试用例时,出现这样的错误Exception in thread "main" org.apache.hadoop.mapred.InvalidInputException: Input path does not exist: file:/home/niy/workspace/mywordcount/input系统无法识别HDFS文件系统,错把原创 2013-03-24 14:48:53 · 18475 阅读 · 0 评论 -
编译hadoop-0.20.2源码时执行ant eclipse-files出现.eclipse.templates does not exist问题解决方案
首先进入hadoop根目录,执行命令ant eclipse-files,会出现错误eclipse-files:BUILD FAILED/usr/local/hadoop-0.20.2/build.xml:1606: /usr/local/hadoop-0.20.2/.eclipse.templates does not exist.解决办法在/usr/local/had原创 2013-03-25 14:42:17 · 4709 阅读 · 0 评论 -
HADOOP实践101:在Hadoop集群中添加机器和删除机器
无论是在Hadoop集群中添加机器和删除机器,都无需停机,整个服务不中断。本次操作之前,Hadoop的集群情况如下:HDFS的机器情况如下:MR的机器情况如下:添加机器在集群的Master机器中,修改$HADOOP_HOME/conf/slaves文件,在其中添加需要加入集群的新机器(hp3)的主机名:hp3hp2dell1dell2dell3转载 2013-07-20 16:45:45 · 1421 阅读 · 0 评论