hadoop
iteye_15588
这个作者很懒,什么都没留下…
展开
-
hive安装过程
Hive搭建在Hadoop的基础之上,相对就会简单很多。只需要设置Hadoop的HADOOP_HOME和HIVE_HOME即可了 一、前置条件 hadoop,jdk已经安装成功 二、安装(只需要安装在namenode即可) ①把hive安装包解压 tar -xf hive-x.y.z.tar.gz (解压到和hadoop安装同一级目录) 如/home/hadoop...2012-03-21 11:26:23 · 99 阅读 · 0 评论 -
eclipse下运行hadoop程序问题:java.lang.IllegalArgumentException: Wrong FS: hdfs:/
在eclipse下运行hadoop程序时遇到报错: 程序是创建了一个文件, 代码如下: FileSystem fs = new FileSystem.get(conf); Path path = new Path("hdfs://test.txt"); FSDataOutputStream.create(path); 报错如下: ja...2012-03-21 16:22:32 · 404 阅读 · 0 评论 -
hive中的LEFT SEMI JOIN
LEFT SEMI JOIN 是 IN/EXISTS 子查询的一种更高效的实现。 Hive 当前没有实现 IN/EXISTS 子查询,所以你可以用 LEFT SEMI JOIN 重写你的子查询语句。LEFT SEMI JOIN 的限制是, JOIN 子句中右边的表只能在 ON 子句中设置过滤条件,在 WHERE 子句、SELECT 子句或其他地方过滤都不行。 SELEC...原创 2012-03-24 22:13:02 · 522 阅读 · 0 评论 -
HADOOP基本操作命令
假设Hadoop的安装目录HADOOP_HOME为/home/admin/hadoop。 启动与关闭 启动HADOOP 1. 进入HADOOP_HOME目录。 2. 执行sh bin/start-all.sh 关闭HADOOP 1. 进入HADOOP_HOME目录。 2. 执行sh bin/stop-all...原创 2012-05-10 22:52:52 · 69 阅读 · 0 评论 -
hive迁移hadoop namenode时遇到的问题
使用了一段时间的hive和hadoop,在迁移datanode时很容易,要迁移namenode,hive里就闹情绪了。更改namenode后,在hive中运行select 依旧指向之前的namenode地址。 要如何解决呢,具体操作如下:1.复制打包老的namenode2.复制打包老的namenode的hdfs目录3.到新机器准备好:修改master的值 复制到各节点 修改hive的定义4...原创 2012-05-10 22:55:51 · 240 阅读 · 0 评论