关于搭建Hive组建

教会大家搭建HIve分布式集群

一 安装hive组件

1 首先要准备好我们的环境具体包括（centos虚拟机和hive组件安包）

这里我们下载社区版的就行：community

下载完之后将hive组件包上传到centos虚拟机上面，然后用 ll 命令查看是否上传成功。

上传成功后还有最重要的一步就是：解压安装包。切记不能遗漏。

下面代码是解压hive组件安装包的具体命令：

tar -zxvf apache-hive-1.1.0-bin.tar.gz -C /home/local/

二 hive 部署配置

在命令性输入以下命令进入vi编辑模式

vi /etc/profile

要添加以下内容：

1. #hive

2. export HIVE_HOME=/home/local/hive

3. export PATH=$PATH:${HIVE_HOME}/bin

随后使环境变量生效命令如下：

source /etc/profile

修改数据库设置：

1 设置数据库开机自启动

2 查看状态     显示 active running说明自启动成功

1. systemctl start mysqld.service #设置开机自启动

2. systemctl status mysqld.service #查看状态

3 修改密码

1. 1 #首先获取原密码 命令如下：

2. grep "oassword" /var/log/mysqld.log

3. 2 #登录MySQL。命令如下：

4. mysql -uroot -p

5. 3 #设置密码策略，会有提示

6. 4 #设置新密码，命令行会有提示如下：

7. Enter password: # 输入新设定的密码 Password123$

4 配置数据库授权以及查看授权

1. mysql> grant all privileges on *.* to root@'localhost'

2. identified by 'Password123$'; # 添加 root 用户本地访问授权

3. Query OK, 0 rows affected, 1 warning (0.01 sec)

4. mysql> grant all privileges on *.* to root@'%' identified by

5. 'Password123$'; # 添加 root 用户远程访问授权

6. Query OK, 0 rows affected, 1 warning (0.00 sec)

7. mysql> flush privileges; # 刷新授权

8. Query OK, 0 rows affected (0.00 sec)

9. mysql> select user,host from mysql.user where user='root';

10. # 查询 root 用户授权情况

11. +------+-----------+

12. | user | host |

13. +------+-----------+

14. | root | % |

15. | root | localhost |

16. +------+-----------+

17. 2 rows in set (0.00 sec)

18. mysql> exit; # 退出 MySQL 数据库

修改hive组件配置文件

 数据库设置完成后要进入hive组件配置文件

首先要切换hadoop用户

1. #切换用户登陆命令

2. su - hadoop

进入vi模式编辑配置文件命令代码如下：

 vi /usr/local/src/hive/conf/hive-site.xml

第一步 进入配置文件中设置mysqld数据库连接

1. <name>javax.jdo.option.ConnectionURL</name> #要找到这行代码，其次再对下面两行代码进行编辑

2. <value>jdbc:mysql://master:3306/hive?createDatabaseIfNotExist=true&amp;us

3. eSSL=false</value>

4. <description>JDBC connect string for a JDBC metastore</description>

第二步 配置mysqld 数据库 root 的密码

1. <property>

2. <name>javax.jdo.option.ConnectionPassword</name>

3. <value>Password123$</value> #找到这行，把设置的数据库root密码规范输入到<value>后面

4. <description>password to use against s database</description>

5. </property>

第三步 验证元数据储存版本一致性，如果默认是false,不用做修改

1. <property>

2. <name>hive.metastore.schema.verification</name>

3. <value>false</value> #找到这行，看<value>后是true还是false

4. <description>

5. Enforce metastore schema version consistency.

6. True: Verify that version information stored in is compatible with one from

7. Hive jars. Also disable automatic

8. False: Warn if the version information stored in metastore doesn't match

9. with one from in Hive jars.

10. </description>

11. </property>

第四步 配置数据库驱动

1. <property>

2. <name>javax.jdo.option.ConnectionDriverName</name>

3. <value>com.mysql.jdbc.Driver</value> #标签内容为驱动命令

4. <description>Driver class name for a JDBC metastore</description>

5. </property>

第五步 配置数据库用户名 javax.jdo.option.ConnectionUserName 为 root

1. <property>

2. <name>javax.jdo.option.ConnectionUserName</name> #找到这行，将下一行标签内容变更为root

3. <value>root</value>

4. <description>Username to use against metastore database</description>

5. </property>

第六步 将以下位置的 ${system:java.io.tmpdir}/${system:user.name} 替换为 “/usr/local/src/hive/tmp”目录及其子目录。 需要替换以下 4 处配置内容

1. <name>hive.querylog.location</name>

2. <value>/usr/local/src/hive/tmp</value>

3. <description>Location of Hive run time structured log

4. file</description>

6. <name>hive.exec.local.scratchdir</name>

7. <value>/usr/local/src/hive/tmp</value>

9. <name>hive.downloaded.resources.dir</name>

10. <value>/usr/local/src/hive/tmp/resources</value>

12. <name>hive.server2.logging.operation.log.location</name>

13. <value>/usr/local/src/hive/tmp/operation_logs</value>

第七步 在 Hive 安装目录中创建临时文件夹 tmp，命令如下：

[hadoop@master ~]$ mkdir /usr/local/src/hive/tmp

三 hive测试验证是否成功搭建

一 将 MySQL 数据库驱动（/opt/software/mysql-connector-java-5.1.46.jar）拷贝到 Hive 安装目录的 lib 下；命令如下：

[hadoop@master ~]$ cp /opt/software/mysql-connector-java-5.1.46.jar /usr/local/src/hive/lib/

二 重启 hadoop即可，命令如下：

[hadoop@master lib]$ stop-all.sh

[hadoop@master lib]$ start-all.sh

三 初始化数据库，命令如下：

[hadoop@master ~]$schematool -initSchema -dbType -mysql

四 最后一步：启动hive查看运行结果

直接在hadoop用户代码行下输入 hive 命令

[hadoop@master ~]$ hive

结果如下图表示hive组件搭建成功：

四 最后总结

hive是一个基于hadoop的数据库仓库工具，通过本次hive的安装，，我成功的在Hadoop集群上安装hive，并进行了基础的配置和数据加载操作。同时也对工作原理和性能优化有了更深入的了解。积累经验的同时也更好的应对以后对大数据处理的需求。