hive3.0.0搭建记录

Mysql

查看是否安装过MySQL ```yum list installed mysql* ``` 或 rpm -qa | grep mysql*

安装前先删除Mysql相关的文件和包
```yum -y remove mysql-libs*

安装mysql客户端：
	```yum install mysql
	```
安装mysql 服务器端：

yum install mysql-server yum
yum install mysql-devel
```

启动&&停止 数据库字符集设置?
vi /etc/my.cnf
在最后加入
default-character-set=utf8

启动mysql服务：
/etc/init.d/mysqld start
开机启动：
chkconfig --add mysqld
chkconfig mysqld on
查看开机启动设置是否成功
chkconfig --list | grep mysql*
应为：mysqld 0:off 1:off 2:on 3:on 4:on 5:on 6:off

登录 创建root管理员：
mysqladmin -u root password monkey

HIVE

注：在使用时若要连接HDFS/SQL，则需要从相关程序lib文件夹下导入相应jar包
mysql:mysql-connector-java-5.1.28.jar;HDFS：share/hadoop下common和hdfs文件夹内所有

• 以ROOT身份进入数据库

创建hadoop用户
mysql>grant all on . to hive@’%’ identified by ‘hive’;
mysql>grant all on . to hive@‘localhost’ identified by ‘hive’;
mysql>grant all on . to hive@‘master’ identified by ‘hive’; 'master1’是当前节点的网络名
mysql>flush privileges;
创建数据库
create database hivemeta;
退出

• 解压到家目录
  tar -zxvf hive-2.3.4

• 目录切换到 $hive/conf
  执行如下操作
  cp hive-env.sh.template hive-env.sh
  cp hive-default.xml.template hive-site.xml
  cp hive-log4j2.properties.template hive-log4j2.properties
  cp hive-exec-log4j2.properties.template hive-exec-log4j2.properties

• 修改 hive-env.sh 文件

export JAVA_HOME
export HADOOP_HOME
export HIVE_HOME
export HIVE_CONF_DIR=$HIVE_HOME/conf

注：全局模式变量配置
环境变量使用ROOT用户配置在/etc/profile.d/目录下，

每次添加环境变量写一个独立的.sh 文件即可
实例

#java.sh

export JAVA_HOME=/usr/java/jdk1.8.0_144

export PATH=$PATH:$JAVA_HOME/bin:$JAVA_HOME/jre/bin

export CLASSPATH=.:$CLASSPATH:$JAVA_HOME/lib:$JAVA_HOME/jre/lib

#ZOOKEEPER
export ZOOKEEPER_HOME=/opt/modules/zookeeper-3.4.11
export PATH=$ZOOKEEPER_HOME/bin:$PATH

#HIVE
export HIVE_HOME=/opt/modules/hive-3.0.0
export PATH=$PATH:$HIVE_HOME/bin

写好之后
source /etc/profile
激活环境变量就可以正常使用

• 在hdfs中创建目录，并授权，用于存储文件
• 启动hadoop

hdfs dfs -mkdir -p /user/hive/warehouse
hdfs dfs -mkdir -p /user/hive/tmp
hdfs dfs -mkdir -p /user/hive/log
hdfs dfs -chmod -R 777 /user/hive/warehouse
hdfs dfs -chmod -R 777 /user/hive/tmp
hdfs dfs -chmod -R 777 /user/hive/log

hdfs dfs -chmod -R 777 /user

• 修改hive-site.xml

<property>
    <name>hive.exec.scratchdir</name>
    <value>/user/hive/tmp</value>
</property>

【在hive-site.xml文件中添加如下配置信息，就可以实现显示当前数据库，以及查询表的头信息配置。】
<property>
	<name>hive.cli.print.header</name>
	<value>true</value>
</property>

<property>
	<name>hive.cli.print.current.db</name>
	<value>true</value>
</property>

<property>
    <name>hive.metastore.warehouse.dir</name>
    <value>/user/hive/warehouse</value>
</property>

<property>
    <name>hive.querylog.location</name>
    <value>/user/hive/log</value>
</property>

<name>hive.exec.local.scratchdir</name>
<value>/opt/modules/apache-hive-2.3.4-bin/tmp/Hive_jobs</value>

<name>hive.server2.logging.operation.log.location</name>
<value>/opt/modules/apache-hive-2.3.4-bin/tmp/operation_logs</value>


<name>hive.downloaded.resources.dir</name>
<value>/opt/modules/hive-3.0.0/tmp/resources</value>

<property>
<name>javax.jdo.option.ConnectionURL</name>
<value>jdbc:mysql://master:3306/hivemeta?characterEncoding=UTF-8</value>
			[#master:3306    网络             hivemeta 数据库名]
</property>
<property>
<name>javax.jdo.option.ConnectionDriverName</name>
<value>com.mysql.jdbc.Driver</value>
</property>
<property>
<name>javax.jdo.option.ConnectionUserName</name>
<value>hive</value>
</property>
<property>
<name>javax.jdo.option.ConnectionPassword</name>
<value>hive</value>
</property>
</configuration>

• 修改hive的log日志存放位置
  （1）修改/opt/module/hive/conf/hive-log4j.properties.template文件名称为hive-log4j.properties
  （2）在hive-log4j.properties文件中修改log存放位置
  hive.log.dir=/opt/module/hive-3.0.0/logs

• 添加JAVA连接包到依赖库中：
  cp mysql-connector-java-5.1.28.jar ~/apache-hive-1.2.1-bin/lib/

• 初始化 hive
  schematool -dbType mysql -initSchema
  发现包冲突

删掉 冲突目录下的jar 包 （同名冲突仍以删除一个即可）

【如果还不行就删掉hivemeta数据库】

• 重新运行初始化命令

• 启动HIVE
  hive