Hadoop之# Hive与Mysql如何搭建远程连接&HiveJDBC,

文章目录

Hive与Mysql&HiveJDBC

一 Hive元数据安装至Mysql、Hiveserver2

安装包准备

mysql-libs.zip

MySQL-server-5.6.24-1.el6.x86_64.rpm

mysql-connector-java-5.1.27.tar.gz

MySQL-client-5.6.24-1.el6.x86_64.rpm

二 MySql安装

一)安装包准备

1.查看mysql是否安装

(1)查看

[root@hadoop102 桌面]# rpm -qa|grep mysql 或者使用rpm -qa | grep -i mysql

mysql-libs-5.1.73-7.el6.x86_64

(2)卸载

[root@hadoop102 桌面]# rpm -qa|grep mysql | xargs sudo rpm -e --nodeps

2.解压

解压mysql-libs.zip文件到当前目录

[root@hadoop102 software]# unzip mysql-libs.zip

[root@hadoop102 software]# ls

mysql-libs.zip

mysql-libs

3.查看安装包

进入到mysql-libs文件夹下

[root@hadoop102 mysql-libs]# ll

总用量 76048

-rw-r--r--. 1 root root 18509960 326 2015 MySQL-client-5.6.24-1.el6.x86_64.rpm

-rw-r--r--. 1 root root  3575135 121 2013 mysql-connector-java-5.1.27.tar.gz

-rw-r--r--. 1 root root 55782196 326 2015 MySQL-server-5.6.24-1.el6.x86_64.rpm

二)安装MySql服务器

1.安装mysql服务端

[root@hadoop102 mysql-libs]# rpm -ivh MySQL-server-5.6.24-1.el6.x86_64.rpm

2.查看产生的随机密码

[root@hadoop102 mysql-libs]# cat /root/.mysql_secret

OEXaQuS8IWkG19Xs

3.查看mysql状态

[root@hadoop102 mysql-libs]# service mysql status

4.启动mysql

[root@hadoop102 mysql-libs]# service mysql start

三)安装MySql客户端

1.安装mysql客户端

[root@hadoop102 mysql-libs]# rpm -ivh MySQL-client-5.6.24-1.el6.x86_64.rpm

2.链接mysql

[root@hadoop102 mysql-libs]# mysql -uroot -pOEXaQuS8IWkG19Xs

mysql> use mysql

3.修改密码

mysql>SET PASSWORD=PASSWORD(‘000000’);

4.退出mysql

mysql>exit

select user,host,password from user;

在这里插入图片描述

四 )MySql中user表中主机配置

配置只要是root用户+密码,在任何主机上都能登录MySQL数据库。

1.进入mysql

[root@hadoop102 mysql-libs]# mysql -uroot -p123

2.显示数据库

mysql>show databases;

3.使用mysql数据库

mysql>use mysql;

4.展示mysql数据库中的所有表

mysql>show tables;

5.展示user表的结构

mysql>desc user;

6.查询user表

mysql>select User, Host, Password from user;

delete from user where host<>“localhost”;
在这里插入图片描述

7.修改user表

把Host表内容修改为%

mysql>update user set host=’%’ where host=‘localhost’;

8.删除root用户的其他host
mysql>delete from user where Host='hadoop102';

mysql>delete from user where Host='127.0.0.1';

mysql>delete from user where Host='::1';

9.刷新

mysql>flush privileges;

10.退出

mysql>quit;

三 Hive元数据配置到MySql

一)驱动拷贝

1.解压mysql-connector…驱动包

在/opt/software/mysql-libs目录下解压mysql-connector-java-5.1.27.tar.gz驱动包

[root@hadoop102 mysql-libs]# tar -zxvf mysql-connector-java-5.1.27.tar.gz

2.拷贝驱动包到hive bin 中

/opt/software/mysql-libs/mysql-connector-java-5.1.27目录下的mysql-connector-java-5.1.27-bin.jar到/opt/module/hive/lib/

[root@hadoop102 mysql-connector-java-5.1.27]# cp mysql-connector-java-5.1.27-bin.jar /opt/module/hive/lib/

二)配置Metastore到MySql

metastore是hive存储元数元数据用的,什么是元数据呢,其实就是一些基础数据hive 自带了一个Metastore,如果不修改配置文件,则为默认的。这个就是本地的。这个的特点是,你退出hive的客户端再进去之前创建的表就没有了

当然可以自己配置metastore,比如mysql,这样每次重新启动hive客户端hive的相关数据就不会消失了。这种方式就是远程的。

1.在hive conf 中配置

在/opt/module/hive/conf目录下创建一个hive-site.xml

[root@hadoop102 conf]$ touch hive-site.xml

[root@hadoop102 conf]$ vim hive-site.xml

2.搭建远程配置

根据官方文档配置参数

https://cwiki.apache.org/confluence/display/Hive/AdminManual+MetastoreAdmin

<?xml version="1.0"?>

<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>    

<configuration>

	<property>

	 <name>javax.jdo.option.ConnectionURL</name>  //连接mysql 位置

	 <value>jdbc:mysql://hadoop102:3306/metastore?createDatabaseIfNotExist=true</value>

	 <description>JDBC connect string for a JDBC metastore</description>

	</property>

 

	<property>

	 <name>javax.jdo.option.ConnectionDriverName</name> //全类名

	 <value>com.mysql.jdbc.Driver</value>

	 <description>Driver class name for a JDBC metastore</description>

	</property>

 

	<property>

	 <name>javax.jdo.option.ConnectionUserName</name> //数据库名

	 <value>root</value>

	 <description>username to use against metastore database</description>

	</property>

 

	<property>

	 <name>javax.jdo.option.ConnectionPassword</name>  数据库密码

	 <value>123</value>

	 <description>password to use against metastore database</description>

	</property>

</configuration>



3.配置完毕后,如果启动hive异常,可以重新启动虚拟机。(重启后,别忘了启动hadoop集群)

先验证能否在多台机器 启动hive

三 )多窗口启动Hive测试

1.先启动MySQL

[root@hadoop102 mysql-libs]$ mysql -uroot -p123

查看有几个数据库

mysql> show databases;

+--------------------+

| Database      |

+--------------------+

| information_schema |

| mysql       |

| performance_schema |

| test        |

+--------------------+

2.再次打开多个窗口,分别启动hive

[root@hadoop102 hive]$ bin/hive

3.启动hive后,回到MySQL窗口查看数据库,显示增加了metastore数据库

​ mysql> show databases;

+--------------------+

| Database      |

+--------------------+

| information_schema |

| metastore      |

| mysql       |

| performance_schema |

| test        |

+--------------------+



*四 HiveJDBC访问*

一)启动hiveserver2服务

[root@hadoop102 hive]$ bin/hiveserver2

在这里插入图片描述

二)启动beeline

[root@hadoop102 hive]$ bin/beeline

Beeline version 1.2.1 by Apache Hive

beeline>

在这里插入图片描述

三)连接hiveserver

Hiveserver(SQL parser 解析器,physical plan 编辑器 ,优化器,执行器)

beeline> !connect jdbc:hive2://hadoop102:10000(回车) 启动jdbc Driver

Connecting to jdbc:hive2://hadoop102:10000

Enter username for jdbc:hive2://hadoop102:10000: atguigu(回车)

Enter password for jdbc:hive2://hadoop102:10000: (直接回车)

Connected to: Apache Hive (version 1.2.1)

Driver: Hive JDBC (version 1.2.1)

Transaction isolation: TRANSACTION_REPEATABLE_READ

0: jdbc:hive2://hadoop102:10000> show databases;

+----------------+--+

| database_name  |

+----------------+--+

| default     |

| hive_db2    |

+----------------+--+

五 Hive常用交互命令

查看hive 相关命令使用

[root@hadoop102 hive]$ bin/hive -help

1.“-e”不进入hive的交互窗口执行sql语句

[root@hadoop102 hive]$ bin/hive -e "select * from student;"

2.“-f”执行脚本中sql语句
(1)在/opt/module/datas目录下创建hivef.sql文件

[root@hadoop102 datas]$ touch hivef.sql

​ 文件中写入正确的sql语句

​ select *from student;

(2)执行文件中的sql语句

[atguigu@hadoop102 hive]$ bin/hive -f /opt/module/datas/hivef.sql

(3)执行文件中的sql语句并将结果写入文件中

[atguigu@hadoop102 hive]$ bin/hive -f /opt/module/datas/hivef.sql > /opt/module/datas/hive_result.txt

六 Hive其他命令操作

1.退出hive窗口:

hive(default)>exit;

hive(default)>quit;

在新版的hive中没区别了,在以前的版本是有的:

exit:先隐性提交数据,再退出;

quit:不提交数据,退出;

2.在hive cli命令窗口中如何查看hdfs文件系统

hive(default)>dfs -ls /;

3.在hive cli命令窗口中如何查看本地文件系统

hive(default)>! ls /opt/module/datas;

4.查看在hive中输入的所有历史命令

​ (1)进入到当前用户的根目录/root或/home/xxx

​ (2)查看. hivehistory文件

[root@hadoop102 ~]$ cat .hivehistory

  • 0
    点赞
  • 0
    收藏
  • 打赏
    打赏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
©️2022 CSDN 皮肤主题:书香水墨 设计师:CSDN官方博客 返回首页
评论

打赏作者

yidianyidei

你的鼓励将是我创作的最大动力

¥2 ¥4 ¥6 ¥10 ¥20
输入1-500的整数
余额支付 (余额:-- )
扫码支付
扫码支付:¥2
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、C币套餐、付费专栏及课程。

余额充值