spark学习笔记-hive0.13搭建（4）

最新推荐文章于 2024-11-01 15:32:36 发布

aams46841

最新推荐文章于 2024-11-01 15:32:36 发布

阅读量109

点赞数

文章标签：运维 java 大数据

原文链接：http://www.cnblogs.com/HeQiangJava/p/6721004.html

版权

安装hive包

1、将apache-hive-0.13.1-bin.tar.gz使用WinSCP上传到spark1的/usr/local目录下。

2、解压缩hive安装包：tar -zxvf apache-hive-0.13.1-bin.tar.gz。

3、重命名hive目录：mv apache-hive-0.13.1-bin hive

4、配置hive相关的环境变量 vi .bashrc export HIVE_HOME=/usr/local/hive export PATH=$HIVE_HOME/bin source .bashrc

安装mysql

 1 1、在spark1上安装mysql。
 2 2、使用yum安装mysql server。
 3 yum install -y mysql-server
 4 service mysqld start
 5 chkconfig mysqld on
 6 3、使用yum安装mysql connector
 7 yum install -y mysql-connector-java
 8 4、将mysql connector拷贝到hive的lib包中
 9 cp /usr/share/java/mysql-connector-java-5.1.17.jar /usr/local/hive/lib
10 输入mysql登陆
11 5、在mysql上创建hive元数据库，并对hive进行授权
12 create database if not exists hive_metadata;
13 grant all privileges on hive_metadata.* to 'hive'@'%' identified by 'hive';
14 grant all privileges on hive_metadata.* to 'hive'@'localhost' identified by 'hive';
15 grant all privileges on hive_metadata.* to 'hive'@'spark1' identified by 'hive';
16 flush privileges;
17 use hive_metadata;

配置hive-site.xml

 1 mv hive-default.xml.template hive-site.xml
 2 vi hive-site.xml
 3 <property>
 4   <name>javax.jdo.option.ConnectionURL</name>
 5   <value>jdbc:mysql://spark1:3306/hive_metadata?createDatabaseIfNotExist=true</value>
 6 </property>
 7 <property>
 8   <name>javax.jdo.option.ConnectionDriverName</name>
 9   <value>com.mysql.jdbc.Driver</value>
10 </property>
11 <property>
12   <name>javax.jdo.option.ConnectionUserName</name>
13   <value>hive</value>
14 </property>
15 <property>
16   <name>javax.jdo.option.ConnectionPassword</name>
17   <value>hive</value>
18 </property>
19 <property>
20   <name>hive.metastore.warehouse.dir</name>
21   <value>/user/hive/warehouse</value>
22 </property>

配置hive-env.sh和hive-config.sh

1 mv hive-env.sh.template hive-env.sh
2 
3 vi /usr/local/hive/bin/hive-config.sh
4 export JAVA_HOME=/usr/java/latest
5 export HIVE_HOME=/usr/local/hive
6 export HADOOP_HOME=/usr/local/hadoop

验证hive是否安装成功：直接输入hive命令，可以进入hive命令行

转载于:https://www.cnblogs.com/HeQiangJava/p/6721004.html