hadoop集成hive

1.mysql

• 关闭开机自启服务

1.配置过本地源了，安装MySQL Server
安装MySQL：yum -y install mysql-community-server





systemctl disable mysqld

#开启服务
systemctl start mysqld

#查看密码
grep "temporary password" /var/log/mysqld.log



mysql -uroot -p
E&po>2BCjekL

#设置密码强度为低级：
set global validate_password_policy=0;
#设置密码长度：
set global validate_password_length=4;
#修改本地密码：
alter user 'root'@'localhost' identified by '123456';


设置远程登录
	以新密码登陆MySQL：mysql -uroot -p123456
	创建用户：create user 'root'@'%' identified by '123456';
	允许远程连接：grant all privileges on *.* to 'root'@'%' with grant option;
	刷新权限：flush privileges;

创建数据库hive；
create database hive character set utf8;

2.安装Hive 注意操作的机器

首先下载Hive_2.3.6

mkdir -p /usr/hive
cd /usr/package277/

tar -zxvf apache-hive-2.3.4-bin.tar.gz -C /usr/hive/

修改环境变量：

vim /etc/profile

# HIVE
export HIVE_HOME=/usr/hive/apache-hive-2.3.4-bin
export PATH=$PATH:$HIVE_HOME/bin

# 刷新配置
source /etc/profile

设置HIVE运行环境

1.运行环境 ==============
cd $HIVE_HOME/conf && cp hive-env.sh.template hive-env.sh && vim hive-env.sh

# 配置Hadoop安装路径
export HADOOP_HOME=/usr/hadoop/hadoop-2.7.7
# 配置Hive配置文件存放路径
export HIVE_CONF_DIR=/usr/hive/apache-hive-2.3.4-bin/conf
# 配置Hive运行资源库路径
export HIVE_AUX_JARS_PATH=/usr/hive/apache-hive-2.3.4-bin/lib


2.版本冲突=============两个机器都执行
cp $HIVE_HOME/lib/jline-2.12.jar $HADOOP_HOME/share/hadoop/yarn/lib/

分发
xsync.sh $HADOOP_HOME/share/hadoop/yarn/lib/

3.分发=============
xsync.sh apache-hive-2.3.4-bin/

xsync.sh /etc/profile

source /etc/profile

3.HIVE 元数据配置到MySQL

1，因为服务端需要和Mysql通信，所以服务端需要将Mysql的依赖包放在Hive的lib目录下。

cd /usr/package277
cp mysql-connector-java-5.1.47-bin.jar $HIVE_HOME/lib

2，Slave1作为服务器端配置hive

cd $HIVE_HOME/conf
vim hive-site.xml

<configuration>
<!-- Hive产生的元数据存放位置-->
<property>
<name>hive.metastore.warehouse.dir</name>
<value>/user/hive_remote/warehouse</value>
</property>
<!-- 数据库连接driver，即MySQL驱动-->
<property>
<name>javax.jdo.option.ConnectionDriverName</name>
<value>com.mysql.jdbc.Driver</value>
</property>
<!-- 数据库连接JDBC的URL地址-->
<property>
<name>javax.jdo.option.ConnectionURL</name> 
<value>jdbc:mysql://slave2:3306/hive?createDatabaseIfNotExist=true&amp;useSSL=false</value>
</property>
<!-- MySQL数据库用户名-->
<property>
<name>javax.jdo.option.ConnectionUserName</name>
<value>root</value>
</property>
<!-- MySQL数据库密码-->
<property>
<name>javax.jdo.option.ConnectionPassword</name>
<value>123456</value>
</property>
</configuration>

4.Master作为客户端配置hive

1.=============
cd /usr/package277
cp mysql-connector-java-5.1.47-bin.jar $HIVE_HOME/lib

2.==============
cd $HIVE_HOME/conf
vim hive-site.xml

<configuration>
<!-- Hive产生的元数据存放位置-->
<property>
<name>hive.metastore.warehouse.dir</name>
<value>/user/hive_remote/warehouse</value>
</property>
<!--- 使用本地服务连接Hive,默认为true-->
<property>
<name>hive.metastore.local</name>
<value>false</value>
</property>
<!-- 连接服务器-->
<property>
<name>hive.metastore.uris</name>
<value>thrift://slave1:9083</value>
</property>
</configuration>

5 .HIVE 元数据配置到MySQL

1.初始化数据库

slave1上：

schematool -dbType mysql -initSchema

2.启动hive server服务

设置成远程模式之后必须保证先启动metastore服务或者进程，之后才能进行开启客户端。

hive --service metastore（注意空格）

3.启动hive client 在master上

hive

4，创建数据库hongyaa

hive>create database hive;