centos搭建hive

前言：

本篇播客安装内容所使用的环境：
环境：centos7.2
内核：3.10.0-957.12.2.el7.x86_64

1、安装mysql

1）查看是否安装了其它的mysql，如果有卸载

（1）查看是否安装了mysql
rpm -qa|grep mysql

(2)如果发现就卸载
rpm -e --nodeps 文件

2）下载mysql

1）下载rpm

下载命令
wget http://repo.mysql.com/mysql57-community-release-el7-10.noarch.rpm

2）安装rpm

sudo rpm -Uvh -Uvh mysql57-community-release-el7-10.noarch.rpm

4）解压mysql 服务器

yum install -y mysql-community-server

5）启动mysql

service mysqld start

6）登录 mysql

（1）查找密码
MySQL5.7为root用户随机生成了一个密码，在error log中，默认是在/var/log/mysqld.log中
grep 'temporary password' /var/log/mysqld.log
(2) 输入密码登录
mysql -uroot -p

（3）修改密码
ALTER USER 'root'@'localhost' IDENTIFIED BY '123456';

报错就是密码的安全性不够，安全级别比较高

修改安全等级
set global validate_password_policy=0;

（4）生成hive数据库

（5）配置mysql的远程连接
启动mysql，登陆mysql之后
查看密码策略
SHOW VARIABLES LIKE 'validate_password%';

首先需要设置密码的验证强度等级，设置 validate_password_policy 的全局参数为 LOW

如果想修改密码长度的话可以修改
set global validate_password_length=6;
昨晚以上操作之后才能设置远程连接权限，否则会报错

使用 mysql 命令为 root 用户授权 mysql 远程连接服务
grant all privileges on *.* to 'root'@'%' identified by '12345678' with grant option;
将配置写入 mysql 授权表中
flush privileges;

使用navicat连接测试

2、安装hive

1）下载hive

下载地址
http://hive.apache.org/downloads.html
下载lrzsz
yum install lrzsz
上传文件
sz

解压
tar -zxvf 压缩文件

2）配置环境变量

vim /etc/profile
导入一下配置

  export  HIVE_HOME=/home/hadoop/apache-hive-1.2.2-bin
  export  HIVE_CONF_DIR=${HIVE_HOME}/conf 
  export PATH=$PATH:${JAVA_HOME}/bin:${HADOOP_HOME}/bin:${HADOOP_HOME}/sbin:${HIVE_HOME}/bin

是配置生效
source /etc/profile

2）配置hive

(1) 建个零时文件夹

mkdir -p /home/hadoop/hive/tmp
mkdir -p /home/hadoop/hive/warehouse
将hive-default.xml.template复制到 hive-site.xml
cp hive-default.xml.template hive-site.xml
vim hive-site.xml
(2) 添加一下配置

   #mysql的链接地址
    <property>
    	<name>javax.jdo.option.ConnectionURL</name>
    	<value>jdbc:mysql://localhost:3306/hive?createDatabaseIfNotExist=true&amp;useSSL=false</value>
    </property>
    #采用msyql 
    <property>
    	<name>javax.jdo.option.ConnectionDriverName</name>
    	<value>com.mysql.jdbc.Driver</value>
    </property>
     #mysql数据库账户
    <property>
    	<name>javax.jdo.option.ConnectionUserName</name>
    	<value>root</value>
    	<description>Username to use against metastore database</description>
    </property>
    #mysql数据库密码
    <property>
    	<name>javax.jdo.option.ConnectionPassword</name>
    	<value>12345678</value>
    	<description>password to use against metastore database</description>
    </property>
    <\property>
        <\name>hive.exec.local.scratchdir<\/name>
        <\value>/home/hadoop/hive/tmp<\/value>
        <\description>Local scratch space for Hive jobs<\/description>
    <\/property>
    <property>
        <name>hive.metastore.warehouse.dir</name>
        <value>/home/hadoop/hive/warehouse</value>
        <description>location of default database for the warehouse</description>
     <\property>

(3) 在hive/lib中添加上mysql连接数据库的jar，这样修改数据库连接配置才能生效
根据mysql server和数据库驱动包 对应的版本，因为我的mysql是5.7所以我选择的驱动包版本为5.1或者8.0。
如果没有这个驱动包会报以下错误

下载地址
https://dev.mysql.com/downloads/connector/j/5.1.html



找到hive的lib目录
/home/hadoop/apache-hive-1.2.2-bin/lib
上传后解压，然后复制到/home/hadoop/apache-hive-1.2.2-bin/lib目录下
sz
mv mysql-connector-java-5.1.47-bin.jar /home/hadoop/apache-hive-1.2.2-bin/lib

3）启动hive

hive

3）使用hive

修改字符集，防止hive中字段中文乱码
alter database hive character set latin1;
READ-COMMITTED需要把bin-log以mixed方式来记录
set global binlog_format='MIXED';

4）hive允许远程连接

(1)在hive的安装文件中
vim hive-site.xml
添加一下配置
配置beeline的远程访问用户名和密码

 <property>
	<name>hive.server2.thrift.bind.host</name>
	<value>master</value>
	<description>Bind host on which to run the HiveServer2 Thrift service.</description>
 </property>

 <property>
	<name>hive.server2.thrift.client.user</name>
	<value>root</value>
	<description>Username to use against thrift client. default is 'anonymous'</description>
</property>
<property>
	<name>hive.server2.thrift.client.password</name>
	<value>12345678</value>
	<description>Password to use against thrift client. default is 'anonymous'</description>
</property>

(2)在hadoop的安装文件中(所有的节点都要配置)
vim core-site.xml

<property>
	<name>hadoop.proxyuser.caozhan.hosts</name>                                               
	<value>*</value>
</property>
<property>
    <name>hadoop.proxyuser.caozhan.groups</name>
	<value>*</value>
</property>

(3)启动hive服务端
hive --service hiveserver2 >/dev/null &

我们看到服务端启动的端口号为2944，我们查看一下端口号的监听
netstat -anp | grep 2944
(5) 使用beeline远程连接
进入hive安装文件的bin目录中
./beeline
远程连接
!connect jdbc:hive2://slave01:10000