如果能用Sql语句操作hadoop的MR,这是多么酷的一件事
版本介绍:
hadoop 2.7.2
hive 2.1.0
centos7
一、hive介绍
基于hadoop的mr,就是对hadoop的job 的封装使用
二、hive安装
下载和配置环境变量
下载.tar.gz,然后tar开
#hive
export HIVE_HOME=/opt/hive/hive-current
export PATH=$PATH:$HIVE_HOME/bin
执行hive --version
三、hive配置
3.1配置hive-env.sh
cp hive-env.sh.template hive-env.sh
然后添加
//根据自己的实际情况配置
HADOOP_HOME=/opt/hadoop/hadoop-current
3.2配置hive-site.xml
cp hive-default.xml.templatehive-site.xml
加入先配置
<property>
<name>system:java.io.tmpdir</name>
<value>/home/hive</value>
<description/>
</property>
<property>
<name>system:user.name</name>
<value>root</value>
<description/>
</property>
3.3元数据库
3.3.1 配置derby作为元数据库
切换到hive bin目录 切换到hive bin目录 切换到hive bin目录,重要事情说三遍
执行
./schematool -initSchema -dbType derby
3.3.2配置mysql作为元数据库
配置hive-site.xml,配置mysql数据库连接、mysql驱动名称、mysql用户名、mysql密码
<property>
<name>javax.jdo.option.ConnectionURL</name>
<value>jdbc:mysql://s130:53306/hive?createDatabaseIfNotExist=true&useSSL=false</value>
</property>
<property>
<name>javax.jdo.option.ConnectionDriverName</name>
<value>com.mysql.jdbc.Driver</value>
</property>
<property>
<name>javax.jdo.option.ConnectionUserName</name>
<value>root</value>
</property>
<property>
<name>javax.jdo.option.ConnectionPassword</name>
<value>123456</value>
</property>
将mysql-connector-java-5.1.46.jar拷贝到hive/bin目录中
执行
./schematool -initSchema -dbType mysql
四、hive client启动
hive