文章目录
Hive 简介
hive是基于Hadoop的一个数据仓库工具,用来进行数据提取、转化、加载,这是一种可以存储、查询和分析存储在Hadoop中的大规模数据的机制。hive数据仓库工具能将结构化的数据文件映射为一张数据库表,并提供SQL查询功能,能将SQL语句转变成MapReduce任务来执行。
Hive的优点是学习成本低,可以通过类似SQL语句实现快速MapReduce统计,使MapReduce变得更加简单,而不必开发专门的MapReduce应用程序。hive十分适合对数据仓库进行统计分析。
一,MySQL 下载和安装
1)下载mysql
百度网盘自取:
链接:https://pan.baidu.com/s/1RlvGc2u_oMU1avdpt175Hg
提取码:3w5v
2)安装mysql
1,将下载好的mysql安装包和驱动jar包使用finalshell上传到software目录下
[root@master ~]# cd /opt/software/
[root@master software]# mkdir mysql
2,将mysql-5.7.39-1.el7.x86_64.rpm-bundle.tar包解压到mysql目录下
[root@master software]# tar -xf mysql-5.7.39-1.el7.x86_64.rpm-bundle.tar -C mysql
3,进入mysql目录,依次安装mysql依赖
[root@master software]# cd /mysql
[root@master mysql]# rpm -ivh mysql-community-common-5.7.39-1.el7.x86_64.rpm
[root@master mysql]# rpm -ivh mysql-community-libs-5.7.39-1.el7.x86_64.rpm
[root@master mysql]# rpm -ivh mysql-community-libs-compat-5.7.39-1.el7.x86_64.rpm
4,安装mysql-client
[root@master mysql]# rpm -ivh mysql-community-client-5.7.39-1.el7.x86_64.rpm
5,安装mysql-server
[root@master mysql]# rpm -ivh mysql-community-server-5.7.39-1.el7.x86_64.rpm
6,启动mysql
[root@master mysql]# systemctl start mysqld
7,查看mysqlmima
[root@master mysql]# cat /var/log/mysqld.log | grep password
3)密码错误无法登录mysql
1,关闭mysql
service mysqld stop
2,修改mysql的配置文件,通过下面命令,进入配置文件当中
vim /etc/my.cnf
3,在文件末尾加上
skip-grant-tables
4,重启mysql服务
service mysqld start
5,进入数据库(输入密码时,直接回车即可)
mysql -u root -p
6,重置mysql密码
update mysql.user set password=password('123456') where user='root';
7,密码改成功后,需将skip-grant-tables给删除掉
8,重启mysql服务
service mysqld restart
9,输入密码,正常登录mysql即可
二,Hive 下载和安装
1)下载hive
1.登录apache官网下载 apache-hive-3.1.3-bin.tar.gz
,单击 Download 下的 “Distribution”
2.下拉找到hive,然后单击hive
3.然后单击 hive-3.1.3/
4.单击 apache-hive-3.1.3-bin.tar.gz
,开始下载
2)安装hive
1.解压hive到/opt目录下
命令:tar -zxvf apache-hive-3.1.3-bin.tar.gz -C /opt
2.改名文件夹
命令:mv apache-hive-3.1.3-bin hive
三,Hive 部署
1.进入hive配置目录
命令:cd /opt/hive/conf
2.解决Hive与Hadoop之间guava版本差异
命令:rm -f /opt/hive/lib/guava-19.0.jar
命令:cp /opt/hadoop-3.3.4/share/hadoop/common/lib/guava-27.0-jre.jar /opt/hive/lib
1)添加hive-site.xml配置
1.进入conf目录,命令:cd /opt/hive/conf
2.进入hive-site.xml配置界面,命令:vi /opt/hive/conf/hive-site.xml
3.添加以下内容:
<configuration>
# 配置MySQL的连接地址、连接数据库
<property>
<name>javax.jdo.option.ConnectionURL</name>
<value>jdbc:mysql://localhost:3306/hivedb?createDatabaseIFNotExist=true</value>
</property>
# 配置MySQL的驱动类
<property>
<name>javax.jdo.option.ConnectionDriverName</name>
<value>com.mysql.jdbc.Driver</value>
</property>
# 配置登录MySQL的用户名
<property>
<name>javax.jdo.option.ConnectionUserName</name>
<value>root</value>
</property>
# 配置登录MySQL的密码
<property>
<name>javax.jdo.option.ConnectionPassword</name>
<value>p@ssw0rd</value>
</property>
</configuration>
2)上传mysql jdbc驱动到hive安装包lib下
命令:cp mysql-connector-java-5.1.49.jar /opt/hive/lib
3)初始化元数据库
命令:/opt/hive/bin/schematool -initSchema -dbType mysql -verbos
4)启动hive
1.启动hive metastore服务
#前台启动,关闭ctrl+c
/opt/hive/bin/hive --service metastore
#前台启动开启debug日志
/opt/hive/bin/hive --service metastore --hiveconf hive.root.logger=DEBUG,console
#后台启动 进程挂起 关闭需要直接杀进程(先jps查看进程号,再kill -9)
nohup /opt/hive/bin/hive --service metastore &
2.启动hiveserver2服务,命令:/opt/hive/bin/hive --service hiveserver2 &
5)beeline客户端连接
1.默认配置会报错,需要修改hadoop的配置文件core-site.xml命令:vi /opt/hadoop-3.3.4/etc/hadoop/core-site.xml
增加属性如下:
<property>
<name>hadoop.proxyuser.root.hosts</name>
<value>*</value>
</property>
<property>
<name>hadoop.proxyuser.root.groups</name>
<value>*</value>
</property>
注:重启hadoop后,再进行连接
2.启动beeline,输入命令:/opt/hive/bin/beeline
3.连接hive,输入命令:!connect jdbc:hive2://master:10000