hadoop spark hive 集群配置（五）hive-mysql centos7

hive-------------mysql

master：

1. 修改hosts

vim /etc/hosts

1. xxx.xxx.xxx.xxx master master.root
2. xxx.xxx.xxx.xxx slave1 slave1.root
3. xxx.xxx.xxx.xxx slave2 slave2.root

分发给slave1 slave2

scp /etc/hosts root@slave1:/etc/hosts 
scp /etc/hosts root@slave2:/etc/hosts

master /slave1 /slave2:

2. 三台机器全部开zookeeper

/usr/zookeeper/zookeeper-3.4.10/bin/zkServer.sh start 
/usr/zookeeper/zookeeper-3.4.10/bin/zkServer.sh status

master:

3. master打开hadoop

实验中我们选用hive的远程模式，slave2安装mysql server用于存放元数据，slave1作为hive server作为thrift 服务器，master作为client客户端进行操作

/usr/hadoop/hadoop-2.7.3/sbin/start-all.sh

slave2:

4. slave2 配置mysql

yum -y install mysql-community-server #安装SQL 
systemctl daemon-reload #重载配置文件 
systemctl start mysqld #启动 
systemctl enable mysqld #开机自启 
grep "temporary password" /var/log/mysqld.log #获取随机生成密码 
mysql -uroot -p #登录

1. set global validate_password_policy=0; #强度降级
2. set global validate_password_length=4; #密码长度
3. alter user 'root'@'localhost' identified by '123456';
4. \q #退出

设置远程登录

mysql -uroot -p123456

1. create user 'root'@'%' identified by '123456';
2. grant all privileges on *.* to 'root'@'%' with grant option;
3. flush privileges;

5. master和slave1配置并分发hive

master：

解压安装hive

cd /opt/soft 
mkdir -p /usr/hive 
tar -zxvf /opt/soft/apache-hive-2.1.1-bin.tar.gz -C /usr/hive/

配置环境变量

vim /etc/profile

1. #set hive
2. export HIVE_HOME=/usr/hive/apache-hive-2.1.1-bin
3. export PATH=$PATH:$HIVE_HOME/bin

source /etc/profile

分发软件包

scp -r /usr/hive root@slave1:/usr/ 
scp -r /etc/profile root@slave1:/etc/

slave1:

source /etc/profile

6. slave2 复制sql的一个包到slave1 ，为了通讯方便

slave2:

ls /lib
scp /lib/mysql-connector-java-5.1.5-bin.jar root@slave1:/usr/hive/apache-hive-2.1.1-bin/lib

7. 配置slave1的hive

slave1:

cd $HIVE_HOME/conf 
ls 
cp hive-env.sh.template hive-env.sh 
vim hive-env.sh

1. HADOOP_HOME=/usr/hadoop/hadoop-2.7.3

vim hive-site.xml

1. <configuration>
2. <!-- Hive产生的元数据存放位置-->
3. <property>
4. <name>hive.metastore.warehouse.dir</name>
5. <value>/user/hive_remote/warehouse</value>
6. </property>
7. <!-- 数据库连接JDBC的URL地址-->
8. <property>
9. <name>javax.jdo.option.ConnectionURL</name>
10. <value>jdbc:mysql://slave2:3306/hive?createDatabaseIfNotExist=true</value> #连接MySQL所在的ip（主机名）及端口
11. </property>
12. <!-- 数据库连接driver，即MySQL驱动-->
13. <property>
14. <name>javax.jdo.option.ConnectionDriverName</name>
15. <value>com.mysql.jdbc.Driver</value>
16. </property>
17. <!-- MySQL数据库用户名-->
18. <property>
19. <name>javax.jdo.option.ConnectionUserName</name>
20. <value>root</value>
21. </property>
22. <!-- MySQL数据库密码-->
23. <property>
24. <name>javax.jdo.option.ConnectionPassword</name>
25. <value>123456</value>
26. </property>
27. <property>
28. <name>hive.metastore.schema.verification</name>
29. <value>false</value>
30. </property>
31. <property>
32. <name>datanucleus.schema.autoCreateAll</name>
33. <value>true</value>
34. </property>
35. </configuration>

8. 复制master的包到slave1（用于hadoop和hive通讯），配置master的hive

master:

cd $HIVE_HOME/conf 
cp /usr/hive/apache-hive-2.1.1-bin/lib/jline-2.12.jar /usr/hadoop/hadoop-2.7.3/share/hadoop/yarn/lib/ 
cp hive-env.sh.template hive-env.sh 
vim hive-env.sh

1. HADOOP_HOME=/usr/hadoop/hadoop-2.7.3

vim hive-site.xml

1. <configuration>
2. <!-- Hive产生的元数据存放位置-->
3. <property>
4. <name>hive.metastore.warehouse.dir</name>
5. <value>/user/hive_remote/warehouse</value>
6. </property>
7.  
8. <!--- 使用本地服务连接Hive,默认为true-->
9. <property>
10. <name>hive.metastore.local</name>
11. <value>false</value>
12. </property>
13.  
14. <!-- 连接服务器-->
15. <property>
16. <name>hive.metastore.uris</name>
17. <value>thrift://slave1:9083</value> #hive客户端通过thrift服务器服务连接MySQL数据库，这里的thrift服务器就是slave1的ip（主机名）
18. </property>
19. </configuration>

slave1:

9. 开启hive server

进入软件主目录

cd /usr/hive/apache-hive-2.1.1-bin 
bin/hive --service metastore

master：

进入软件主目录

cd /usr/hive/apache-hive-2.1.1-bin

客户端启动hive

bin/hive 
show databases;

复制master

jps