hadoop学习笔记(八)——hadoop整合hive

环境：centos7+hadoop2.5.2+hive1.2.1

1) 下载hive稳定版本apache-hive-1.2.1-bin.tar

2) 在/usr/local目录下解压，与hadoop处于同一级别

a) # tar -xzvf apache-hive-1.2.1-bin.tar.gz
b) # mv apache-hive-1.2.1-bin hive1.2
c) # cp hive-default.xml.template hive-site.xml
d) # cp hive-env.sh.template hive-env.sh

3) 配置环境变量

a) # vi /etc/profile
export HIVE_HOME=/usr/local/hive1.2
export PATH=.:$HIVE_HOME/bin:$PATH
]# source /etc/profile
b) Hive-env.sh配置
HADOOP_HOME=/usr/local/hadoop2.5
export HIVE_CONF_DIR=/usr/local/hive1.2/conf
c) hive-site.xml配置

<!-- HDFS路径hive表的存放位置-->
<property>
 <name>hive.metastore.warehouse.dir</name>
 <value>hdfs://master:9000/user/hive/warehouse</value>
  </property>
<!--HDFS路径，用于存储不同 map/reduce 阶段的执行计划和这些阶段的中间输出结果。 -->
  <property>
    <name>hive.exec.scratchdir</name>
    <value>hdfs://master:9000/tmp</value>
  </property>

  <property>
    <name>hive.exec.local.scratchdir</name>
    <value>/usr/local/hive1.2/tmp</value>
  </property>

  <property>
    <name>hive.downloaded.resources.dir</name>
    <value>/usr/local/hive1.2/tmp/${hive.session.id}_resources</value>
  </property>

d) 新建目录
]# hadoop fs -mkdir -p /user/hive/warehouse
]# mkdir /usr/local/hive1.2/tmp
e) 配置目录权限
]# hadoop fs -chmod 733 /tmp
]# hadoop fs -chmod 733 / user/hive/warehouse

4) 启动hive并测试

a) 启动hive：[root@master bin]# hive
b) 运行hive：hive> show tables;
c) 创建表SQL：

create table smq (name string ,count int,status string) row format delimited  fields terminated by '\t' stored as textfile ;

d) 导入数据：

LOAD DATA LOCAL INPATH ' /usr/local/hive1.2/test.txt' OVERWRITE INTO TABLE smq;

e) 查询表数据：
hive> select * from smq;
hive> exit;