hive mysql 集成_新闻网日志分析11（Hive和MySQL安装集成）

1.在线安装mysql

通过yum在线mysql，具体操作命令如下所示。

yum clean all

yum install mysql-server

2.mysql 服务启动并测试

1)查看mysql服务状态

service mysqld status

2)启动mysql服务

service mysqld start

3)设置mysql密码

/usr/bin/mysqladmin -u root password '123456'

4)连接mysql

mysql -uroot -p 123456

a)查看数据库

show databases;

mysql

test

b)查看数据库

use test;

c)查看表列表

show tables;

3.解压安装hive

tar -zxf apache-hive-0.13.1-bin.tar.gz -C /opt/modules/

4.修改hive-log4j.properties配置文件

cd /opt/modules/hive-0.13.1-bin/conf

mv hive-log4j.properties.template hive-log4j.properties

vi hive-log4j.properties

#日志目录需要提前创建

hive.log.dir=/opt/modules/hive-0.13.1-bin/logs

5.修改hive-env.sh配置文件

mv hive-env.sh.template hive-env.sh

vi hive-env.sh

export HADOOP_HOME=/opt/modules/hadoop-2.5.0

export HIVE_CONF_DIR=/opt/modules/hive-0.13.1-bin/conf

6.首先启动HDFS，然后创建Hive的目录

bin/hdfs dfs -mkdir -p /user/hive/warehouse

bin/hdfs dfs -chmod g+w /user/hive/warehouse

7.启动hive

./hive

#查看数据库

show databases;

#使用默认数据库

use default;

#查看表

show tables;

Hive 与MySQL集成

1.在/opt/modules/hive-0.13.1-bin/conf目录下创建hive-site.xml文件，配置mysql元数据库。

vi hive-site.xml

javax.jdo.option.ConnectionURL

javax.jdo.option.ConnectionDriverName

com.mysql.jdbc.Driver

javax.jdo.option.ConnectionUserName

root

javax.jdo.option.ConnectionPassword

123456

2.设置用户连接

1)查看用户信息

mysql -uroot -p123456

show databases;

use mysql;

show tables;

select User,Host,Password from user;

2)更新用户信息

update user set Host='%' where User = 'root' and Host='localhost'

3)删除用户信息

delete from user where user='root' and host='127.0.0.1'

select User,Host,Password from user;

delete from user where host='localhost'

4)刷新信息

flush privileges;

3.拷贝mysql驱动包到hive的lib目录下

cp mysql-connector-java-5.1.27.jar /opt/modules/hive-0.13.1/lib/

4.保证第三台集群到其他节点无秘钥登录

(七)Hive 服务启动与测试

1.启动HDFS和YARN服务

2.启动hive

./hive

3.通过hive服务创建表

CREATE TABLE stu(id INT,name STRING) ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t' ;

4.创建数据文件

vi /opt/datas/stu.txt

00001 zhangsan

00002 lisi

00003 wangwu

00004 zhaoliu

5.加载数据到hive表中

load data local inpath '/opt/datas/stu.txt' into table stu;