前情提要:
Hadoop架构成功,MySQL部署成功,关闭防火墙,关闭SELINUX
MySQL安装:https://blog.csdn.net/weixin_43854358/article/details/84869110
准备工作:
hive安装包:http://mirrors.hust.edu.cn/apache/hive/stable-2/apache-hive-2.3.4-bin.tar.gz
MySQL数据驱动包:http://central.maven.org/maven2/mysql/mysql-connector-java/5.1.38/mysql-connector-java-5.1.38.jar
hive安装:
1.下载安装包到本地,然后使用xshell命令 rz上传安装包,查看
(或者使用wget http://mirrors.hust.edu.cn/apache/hive/stable-2/apache-hive-2.3.4-bin.tar.gz 直接下载)
2.解压
命令:tar xf apache-hive-2.3.4-bin.tar.gz
重命名:mv apache-hive-2.3.4-bin.tar.gz hive
将hive移动到/opt下:mv hive /opt
修改文件所有者,所属组
chown -R hadoop:hadoop /opt/hive
3.修改配置文件 /etc/profile,在里面添加如下内容
4.使文件生效
命令:source /etc/profile
5.查看hive是否安装成功(Hadoop用户下执行)
命令:hive --version
hive文件配置
1.切换文件路径
2.复制模板文件
命令:cp hive-default.xml.template hive-site.xml
编辑文件 vim hive-site.xml,内容如下:(由于文件内容比较多,可以在进入vim的时候使用底行模式查找,举例:在底行模式输入/ConnectionUserName,按回车键,就可以查找对应的内容 n往下查找,N往上查找)
2.1.修改<value>MySQL数据库用户名</value>
2.2.修改<value>MySQL数据库用户密码(与上边对应)</value>
2.3.修改<value>修改自己对应的IP地址</value>
2.4.修改如下:
3.在/opt/hive/lib下复制MySQL驱动(也可以下载到本地使用rz上传)
命令:wget http://central.maven.org/maven2/mysql/mysql-connector-java/5.1.38/mysql-connector-java-5.1.38.jar
4.进入MySQL(前提是已经安装)
格式:mysql -u 用户名 -p (回车会提示输密码)
出现mysql> 字样表示进入成功
5.查看当前的数据库 show databases;
6.创建数据库hive
7.查看数据库(创建成功)
8.初始化 schematool -dbType mysql -initSchema
9.进入hive
10.测试,在里面创建数据库,并查看是否创建成功
使用创建的表 use hive_1; 在数据库中创建表(在创建字符串的时候,需要用string)
查看Hadoop中的变化
或者是在浏览器中查看
在mysql中查看,首先进入mysql,查看表中的数据库,因为之前建立有个数据库hive,去里面查看所有表,然后查看表中的TBLS里面的内容,每当创建一个新表,就会显示在这个里面。
过程中遇到的问题与解决方法:
错误一.在启动hive的时候,出现下面情况:
解决方法:
将配置文件hive-site.xml中的所有${system:java.io.tmpdir}(注意是修改文件中所有的这一句),替换成绝对路径 /opt/hive/hivetmp,如下:
错误二.进入hive后,查看数据库,出现下面内容:
解决方法:
进入hive-site.xml文件,找到一下部分(只修改这一处):
修改如下:
错误三.当启动hive,查看数据库的时候,出现以下警告:
解决方法:在hive-site.xml中添加下面红线部分内容(注意:如果hive的配置文件是.xml文件格式,而在.xml中&;在表示&,所以如果在文件中添加多个后缀,使用到&的时候,可以写成下面的形式&)