前置环境:
请打开【VMware Workstation Pro】中的【linux1】环境,登录账号【root】密码【root】。
搭建hive环境并对map数据进行分析:
一、搭建MySQL运行环境(25分,每项5分)
1、删除MySQL依赖的libs包
2、安装MySQL的服务器与安装MySQL的客户端
3、登录MySQL并修改MySQL密码
4、给与MySQL的master权限
5、刷新MySQL权限并退出MySQL
下方解析链接:
Hive基础01、安装MySQL_红目香薰的博客-CSDN博客
二、搭建hive运行环境(50分,每项5分)
1、解压【/opt/soft/】文件夹下的【apache-hive-2.1.0-bin.tar.gz】文件
2、修改【apache-hive-2.1.0-bin】文件夹的名称为【hive】
3、拷贝【/opt/soft/hive/conf】文件夹下的【hive-env.sh.template】文件,并更改名称为【hive-env.sh】
4、拷贝【/opt/soft/hive/conf】文件夹下的【hive-default.xml.template】文件,并更改名称为【
hive-site.xml】
5、在【hive-env.sh】文件中添加【JAVA_HOME】、【HADOOP_HOME】、【HIVE_HOME】环境
关键字【export】
6、在【hive-site.xml】文件中修改以下配置:
在hive-site.xml文件中修改相关配置内容,修改如下
修改属性“javax.jdo.option.ConnectionURL”的值为“jdbc:mysql://master:3306/hive?createDatabaseIfNotExist=true”
修改属性“javax.jdo.option.ConnectionDriverName”的值为“com.mysql.jdbc.Driver”
修改属性“javax.jdo.option.ConnectionUserName”的值为“root”
修改属性“javax.jdo.option.ConnectionPassword”的值为“123456”
修改属性“hive.querylog.location”的值为“/opt/soft/hive/tmp”
修改属性“hive.exec.local.scratchdir”的值为“/opt/soft/hive/tmp”
修改属性“hive.downloaded.resources.dir”的值为“/opt/soft/hive/tmp”
7、 在【/etc/profile.d/】下创建hive的脚本文件【hive.sh】,并添加环境变量【HIVE_HOME】,并执行此脚本文件。
关键字【export,$PATH,source】
8、复制MySQL的驱动包到【hive】的【lib】文件夹下
文件所在位置:
/opt/soft/mysql-connector-java-5.1.39.jar
9、启动【hadoop】以及进入【hive】
关键字【start-all.sh jps】
10、在【/opt/soft/hive/bin】文件夹下初始元数据仓库
关键字【./schematool -dbType mysql -initSchema 】
下方解析链接:
Hive基础02、安装Hive_红目香薰的博客-CSDN博客
三、导入数据并进行【HQL】查询(25分,前三项,每项5分,第四项10分)
1、创建学生成绩表
登录hive
创建【mytest】数据库
使用【mytest】数据库
创建表语句:
2、导入本地数据
3、重写覆盖导入hadoop的数据
退出【hive】
导入到hadoop的根路径