从零到一搭建大数据分析引擎HIVE

1.集群的规划

以下安装的前提是已经部署好hadoop集群
一个简单的表格是这么创建的：

节点 功能	节点名称	节点IP	安装软件
marster 和 slave	zhen(震）	192.168.2.5	namenogde datanode
slave	xun(巽）	192.168.2.6	datanode
slave	li(离）	192.168.2.7	datanode mysql hive

2.安装步骤

1.下载hive安装包

官方下载：https://mirrors.tuna.tsinghua.edu.cn/apache/hive/hive-2.3.6/apache-hive-2.3.6-bin.tar.gz

cd /home/hive/ # 上传到这个目录
tar zxvf apache-hive-2.3.6-bin.tar.gz -C /usr/local/ # 进行解压到 /usr/local 目录下
mv apache-hive-2.3.6-bin/ hive # 重命名 hive

2.利用docker安装mysql

详细请参考https://blog.csdn.net/smartsteps/article/details/103646926

3.修改hive的配置文件

• 修改hive配置文件hive-env.sh

cd /usr/local/hive/conf
cp hive-env.sh.template hive-env.sh
修改内容
HADOOP_HOME=/home/hadoop/hadoop-2.7.5
export HIVE_CONF_DIR=/usr/local/hive/conf

4.增加hive-site.xml配置文件

vi hive-site.xml

<?xml version="1.0" encoding="UTF-8" standalone="no"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
<property>
	 <!-- 用户名 -->
      <name>javax.jdo.option.ConnectionUserName</name>
      <value>root</value> 
  </property>
  <property>
  <!-- 密码 -->
      <name>javax.jdo.option.ConnectionPassword</name>
      <value>root</value>
  </property>
  <property>
   <!-- 链接数据库，没有则生成 -->
      <name>javax.jdo.option.ConnectionURL</name>
      <value>jdbc:mysql://192.168.2.7:3306/hive?createDatabaseIfNotExist=true&amp;useSSL=false</value>
  </property>
  <property>
   <!-- 驱动 -->
      <name>javax.jdo.option.ConnectionDriverName</name>
      <value>com.mysql.jdbc.Driver</value>
  </property>
  <property>
   <!-- 数据是否校验 -->
      <name>hive.metastore.schema.verification</name>
      <value>false</value>
  </property>
  <property>
   <!-- 是否自动创建核心配置文件 -->
    <name>datanucleus.schema.autoCreateAll</name>
    <value>true</value>
 </property>
 <property>
  <!-- 主机 -->
		<name>hive.server2.thrift.bind.host</name>
		<value>li</value>
   </property>
</configuration>

5.上传mysql 驱动

添加mysql的连接驱动包到hive的lib目录下
百度网盘下载
上传以后lib目录下多了一个mysql-connector-java-5.1.38.jar文件，hive和mysql链接的桥梁和驱动

6.添加hive的环境变量

vi /etc/profile
#hive
export HIVE_HOME=/usr/local/hive
export PATH=:$HIV{E}_{H}OME/bin:$PATH
source /etc/profile # 让 profile 文件生效

3.启动HIVE

cd /usr/local/hive/bin
输入运行 hive
./hive

可以看到hive已经成功启动了，后续我们继续讲解hive中的数据库操作和表操作。