教会大家搭建HIve分布式集群

教会大家搭建HIve分布式集群

一 安装hive组件

1 首先要准备好我们的环境具体包括（centos虚拟机和hive组件安包）

hive组件可以去官网上下载：如下图示

这里我们下载社区版的就行：community

下载完之后将hive组件包上传到centos虚拟机上面，然后用 ll 命令查看是否上传成功。

上传成功后还有最重要的一步就是：解压安装包。切记不能遗漏。

下面代码是解压hive组件安装包的具体命令：

tar -zxvf apache-hive-1.1.0-bin.tar.gz -C /home/local/

二 hive 部署配置

在命令性输入以下命令进入vi编辑模式

vi /etc/profile

要添加以下内容：

#hive
export HIVE_HOME=/home/local/hive
export PATH=$PATH:${HIVE_HOME}/bin

随后使环境变量生效命令如下：

source /etc/profile

修改数据库设置：

1 设置数据库开机自启动

2 查看状态     显示 active running说明自启动成功

systemctl start mysqld.service  #设置开机自启动
systemctl status mysqld.service #查看状态

3 修改密码

1 #首先获取原密码 命令如下：
grep "oassword" /var/log/mysqld.log
2 #登录MySQL。命令如下：
mysql -uroot -p
3 #设置密码策略，会有提示
4 #设置新密码，命令行会有提示如下：
Enter password: # 输入新设定的密码 Password123$

4 配置数据库授权以及查看授权

mysql> grant all privileges on *.* to root@'localhost'
identified by 'Password123$'; # 添加 root 用户本地访问授权
Query OK, 0 rows affected, 1 warning (0.01 sec)
mysql> grant all privileges on *.* to root@'%' identified by
'Password123$'; # 添加 root 用户远程访问授权
Query OK, 0 rows affected, 1 warning (0.00 sec)
mysql> flush privileges; # 刷新授权
Query OK, 0 rows affected (0.00 sec)
mysql> select user,host from mysql.user where user='root';
# 查询 root 用户授权情况
+------+-----------+
| user | host |
+------+-----------+
| root | % |
| root | localhost |
+------+-----------+
2 rows in set (0.00 sec)
mysql> exit; # 退出 MySQL 数据库

修改hive组件配置文件

 数据库设置完成后要进入hive组件配置文件

首先要切换hadoop用户

#切换用户登陆命令
su - hadoop

进入vi模式编辑配置文件命令代码如下：

 vi /usr/local/src/hive/conf/hive-site.xml

第一步 进入配置文件中设置mysqld数据库连接

<name>javax.jdo.option.ConnectionURL</name> #要找到这行代码，其次再对下面两行代码进行编辑
<value>jdbc:mysql://master:3306/hive?createDatabaseIfNotExist=true&amp;us
eSSL=false</value>
<description>JDBC connect string for a JDBC metastore</description>

第二步 配置mysqld 数据库 root 的密码

<property>
<name>javax.jdo.option.ConnectionPassword</name>
<value>Password123$</value> #找到这行，把设置的数据库root密码规范输入到<value>后面
<description>password to use against s database</description>
</property>

第三步 验证元数据储存版本一致性，如果默认是false,不用做修改

<property>
<name>hive.metastore.schema.verification</name>
<value>false</value>  #找到这行，看<value>后是true还是false
<description>
 Enforce metastore schema version consistency.
True: Verify that version information stored in is compatible with one from
Hive jars. Also disable automatic
 False: Warn if the version information stored in metastore doesn't match
with one from in Hive jars.
</description>
</property>

第四步 配置数据库驱动

<property>
<name>javax.jdo.option.ConnectionDriverName</name>
<value>com.mysql.jdbc.Driver</value>  #标签内容为驱动命令
<description>Driver class name for a JDBC metastore</description>
</property>

第五步 配置数据库用户名 javax.jdo.option.ConnectionUserName 为 root

<property>
<name>javax.jdo.option.ConnectionUserName</name>  #找到这行，将下一行标签内容变更为root
<value>root</value>
<description>Username to use against metastore database</description>
</property>

第六步 将以下位置的 ${system:java.io.tmpdir}/${system:user.name} 替换为 “/usr/local/src/hive/tmp”目录及其子目录。 需要替换以下 4 处配置内容

 <name>hive.querylog.location</name>
 <value>/usr/local/src/hive/tmp</value>
 <description>Location of Hive run time structured log
file</description>

 <name>hive.exec.local.scratchdir</name>
 <value>/usr/local/src/hive/tmp</value>

 <name>hive.downloaded.resources.dir</name>
 <value>/usr/local/src/hive/tmp/resources</value>

 <name>hive.server2.logging.operation.log.location</name>
 <value>/usr/local/src/hive/tmp/operation_logs</value>

第七步 在 Hive 安装目录中创建临时文件夹 tmp，命令如下：

[hadoop@master ~]$ mkdir /usr/local/src/hive/tmp

三 hive测试验证是否成功搭建

一 将 MySQL 数据库驱动（/opt/software/mysql-connector-java-5.1.46.jar）拷贝到 Hive 安装目录的 lib 下；命令如下：

[hadoop@master ~]$ cp /opt/software/mysql-connector-java-5.1.46.jar /usr/local/src/hive/lib/

二 重启 hadoop即可，命令如下：

[hadoop@master lib]$ stop-all.sh

[hadoop@master lib]$ start-all.sh

三 初始化数据库，命令如下：

[hadoop@master ~]$schematool -initSchema -dbType -mysql

四 最后一步：启动hive查看运行结果

直接在hadoop用户代码行下输入 hive 命令

[hadoop@master ~]$ hive

结果如下图表示hive组件搭建成功：

四 最后总结

hive是一个基于hadoop的数据库仓库工具，通过本次hive的安装，，我成功的在Hadoop集群上安装hive，并进行了基础的配置和数据加载操作。同时也对工作原理和性能优化有了更深入的了解。积累经验的同时也更好的应对以后对大数据处理的需求。