【阿尼亚喜欢BigData】“红亚杯”大数据环境搭建与数据采集技能线上专题赛——满分解析⑤

已于 2022-06-02 10:26:51 修改
阅读量1.4k 收藏 6
点赞数 1
分类专栏： 阿尼亚的BigData之旅 文章标签： big data 大数据 hive linux mysql
于 2022-05-31 20:12:50 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_45943172/article/details/125072003
版权

大家好，喜欢Bigdata的阿尼亚来了！希望大家会喜欢阿尼亚的文章！！哇酷哇酷！！！

本次为师傅们带来的是“红亚杯”大数据环境搭建与数据采集技能线上专题赛——满分解析系列的第⑤期，是“构建数据仓库 ”篇章哦！

第①期完整赛题、第②期基础环境配置、第③期Zookeeper集群环境搭建和第④期Hadoop完全分布式集群搭建的链接在下面，师傅们想看完整赛题、基础环境配置、Zookeeper集群环境搭建和Hadoop完全分布式集群搭建的请安心享用：

【阿尼亚喜欢BigData】“红亚杯”大数据环境搭建与数据采集技能线上专题赛——满分解析①_爱波吉的阿尼亚的博客-CSDN博客

【阿尼亚喜欢BigData】“红亚杯”大数据环境搭建与数据采集技能线上专题赛——满分解析②_爱波吉的阿尼亚的博客-CSDN博客

【阿尼亚喜欢BigData】“红亚杯”大数据环境搭建与数据采集技能线上专题赛——满分解析③_爱波吉的阿尼亚的博客-CSDN博客

【阿尼亚喜欢BigData】“红亚杯”大数据环境搭建与数据采集技能线上专题赛——满分解析④_爱波吉的阿尼亚的博客-CSDN博客

目录

构建数据仓库（30 / 30分）

安装数据库（5 / 5分）

1.判断是否安装mysql-community-server

2.判断是否开启MySQL服务

3.mysqld.log日志下生成初临时密码

4.设置MySQL本地root用户密码为123456

Hive基础环境配置（8 / 8分）

1.将Hive安装包解压到指定路径/usr/hive（安装包存放于/usr/package/）

2.设置HIVE系统环境变量（$HIVE_HOME）

3.设置HIVE运行环境

4.解决jline的版本冲突

配置HIVE元数据至MySQL（9 / 9分）

1.驱动拷贝（依赖包存放于/usr/package/）

2.配置元数据数据存储位置为/user/hive_remote/warehouse

3.配置数据库连接驱动为MySQL

4.配置连接JDBC的URL地址主机名及默认端口号3306，数据库为hive，如不存在自行创建，ssl连接方式为false

5.配置数据库连接用户

6.配置数据库连接密码

配置HIVE客户端（3 / 3分）

1.配置元数据存储位置为/user/hive_remote/warehouse

2.关闭本地metastore模式

3.配置指向metastore服务的主机为slave1，端口为9083

启动Hive（5 / 5分）

1. 初始化数据库，启动metastore服务，开启客户端

构建数据仓库（30 / 30分）

集群中使用远程模式，使用外部数据库MySQL用于存储元数据，使用client/thrift server的连接方式进行访问。其中slave2节mysql数据库，slave1作为hive服务器端，master作为hive客户端。

安装数据库（5 / 5分）

前提说明

  1. 相关安装包已经存放至环境/usr/package/中

  2. 对应ntp和mysql已安装，可直接对其进行操作和配置

考核条件如下：

1.判断是否安装mysql-community-server

操作环境: slave2

#slave2
systemctl start mysqld.service              #开启mysql服务

2.判断是否开启MySQL服务

操作环境: slave2

#slave2
systemctl status mysqld.service              #查看mysql服务状态

3.mysqld.log日志下生成初临时密码

操作环境: slave2

#slave2
grep "temporary password" /var/log/mysqld.log   #直接查看密码

mysql -uroot -p                                 #登入数据库

4.设置MySQL本地root用户密码为123456

操作环境: slave2

#slave2
set global validate_password_policy=0;                  #设置密码强度为低级

set global validate_password_length=6;                  #设置密码长度

alter user 'root'@'localhost' identified by '123456';   #修改本地密码

GRANT ALL PRIVILEGES ON *.* TO 'root'@'%' IDENTIFIED BY '123456' WITH GRANT OPTION;  #满足任意主机节点root的远程访问权限

flush privileges;                                       #刷新权限

Hive基础环境配置（8 / 8分）

Hive是基于Hadoop的一个数据仓库工具，用来进行数据提取、转化、加载，这是一种可以存储、查询和分析存储在Hadoop中的大规模数据的机制。Hive数据仓库工具能将结构化的数据文件映射为一张数据库表，并提供SQL查询功能，能将SQL语句转变成MapReduce任务来执行。

考核条件如下：

1.将Hive安装包解压到指定路径/usr/hive（安装包存放于/usr/package/）

操作环境: master、slave1

#master、slave1
mkdir -p /usr/hive                    #创建目录

cd /usr/hive                          #切换到目录

cp /usr/package/apache-hive-2.1.1-bin.tar.gz /usr/hive  #拷贝压缩包到当前目录

tar -zxvf apache-hive-2.1.1-bin.tar.gz           #解压

2.设置HIVE系统环境变量（$HIVE_HOME）

操作环境: master、slave1

#master、slave1
vim /etc/profile                                 #修改对应配置文件

#添加以下内容
export HIVE_HOME=/usr/hive/apache-hive-2.1.1-bin
export PATH=$PATH:$HIVE_HOME/bin

source /etc/profile                              #生效配置文件

3.设置HIVE运行环境

操作环境: master、slave1

#master、slave1
cd $HIVE_HOME/conf                              #切换到对应目录

cp hive-env.sh.template hive-env.sh             #拷贝模板配置文件

vim hive-env.sh                                 #修改对应配置文件

#添加以下内容
# 配置 Hadoop 安装路径
export HADOOP_HOME=/usr/hadoop/hadoop-2.7.3
# 配置 Hive 配置文件存放路径
export HIVE_CONF_DIR=/usr/hive/apache-hive-2.1.1-bin/conf
# 配置 Hive 运行资源库路径
export HIVE_AUX_JARS_PATH=/usr/hive/apache-hive-2.1.1-bin/lib

vim hive-site.xml                               #修改对应配置文件

#添加以下内容
<configuration>
 <!-- Hive 产生的元数据存放位置-->
 <property>
  <name>hive.metastore.warehouse.dir</name>
  <value>/user/hive_remote/warehouse</value>
 </property>
 <!--- 使用本地服务连接 Hive,默认为 true-->
 <property>
  <name>hive.metastore.local</name>
  <value>false</value>
 </property>
 <!-- 连接服务器-->
 <property>
  <name>hive.metastore.uris</name>
  <value>thrift://slave1:9083</value>
 </property>
</configuration>

4.解决jline的版本冲突

操作环境: master、slave1

#master、slave1
cp $HIVE_HOME/lib/jline-2.12.jar $HADOOP_HOME/share/hadoop/yarn/lib/   #拷贝指定版本文件

配置HIVE元数据至MySQL（9 / 9分）

slave1作为服务器端需要和Mysql通信，所以服务端需要将Mysql的依赖包放在Hive的lib目录下。 mysql-connector-java是MySQL的JDBC驱动包，用JDBC连接MySQL数据库时必须使用该jar包。

考核条件如下：

1.驱动拷贝（依赖包存放于/usr/package/）

操作环境: slave1

#slave1
cp /usr/package/mysql-connector-java-5.1.47-bin.jar /usr/hive/apache-hive-2.1.1-bin/lib   #拷贝指定版本文件

2.配置元数据数据存储位置为/user/hive_remote/warehouse

操作环境: slave1

#slave1
vim $HIVE_HOME/conf/hive-site.xml               #修改对应配置文件
#添加以下内容
<configuration>
 <!-- Hive产生的元数据存放位置-->
 <property>
  <name>hive.metastore.warehouse.dir</name>
  <value>/user/hive_remote/warehouse</value>
 </property>
 ……………………………
</configuration>

3.配置数据库连接驱动为MySQL

操作环境: slave1

#slave1
vim $HIVE_HOME/conf/hive-site.xml               #修改对应配置文件
#添加以下内容
<configuration>
 ……………………………
 <!-- 数据库连接driver，即MySQL驱动-->
 <property>
  <name>javax.jdo.option.ConnectionDriverName</name>
  <value>com.mysql.jdbc.Driver</value>
 </property>
 ……………………………
</configuration>

4.配置连接JDBC的URL地址主机名及默认端口号3306，数据库为hive，如不存在自行创建，ssl连接方式为false

操作环境: slave1

#slave1
vim $HIVE_HOME/conf/hive-site.xml               #修改对应配置文件
#添加以下内容
<configuration>
 ……………………………
 <!-- 数据库连接JDBC的URL地址-->
 <property>
  <name>javax.jdo.option.ConnectionURL</name> 
  <value>jdbc:mysql://slave2:3306/hive?createDatabaseIfNotExist=true&amp;useSSL=false</value>
 </property>
 ……………………………
</configuration>

5.配置数据库连接用户

操作环境: slave1

#slave1
vim $HIVE_HOME/conf/hive-site.xml               #修改对应配置文件
#添加以下内容
<configuration>
 ……………………………
 <!-- MySQL数据库用户名-->
 <property>
  <name>javax.jdo.option.ConnectionUserName</name>
  <value>root</value>
 </property>
 ……………………………
</configuration>

6.配置数据库连接密码

操作环境: slave1

#slave1
vim $HIVE_HOME/conf/hive-site.xml               #修改对应配置文件
#添加以下内容
<configuration>
 ……………………………
 <!-- MySQL数据库密码-->
 <property>
  <name>javax.jdo.option.ConnectionPassword</name>
  <value>123456</value>
 </property>
</configuration>

配置HIVE客户端（3 / 3分）

master作为客户端,可进入终端进行操作;关闭本地模式;将hive.metastore.uris指向metastore服务器URL。

考核条件如下：

1.配置元数据存储位置为/user/hive_remote/warehouse

操作环境: master

#master
vim $HIVE_HOME/conf/hive-site.xml               #修改对应配置文件
#添加以下内容
<configuration>
 <!-- Hive产生的元数据存放位置-->
 <property>
  <name>hive.metastore.warehouse.dir</name>
  <value>/user/hive_remote/warehouse</value>
 </property>
 ……………………………
</configuration>

2.关闭本地metastore模式

操作环境: master

#master
vim $HIVE_HOME/conf/hive-site.xml               #修改对应配置文件
#添加以下内容
<configuration>
 ……………………………
 <!--- 使用本地服务连接Hive,默认为true-->
 <property>
  <name>hive.metastore.local</name>
  <value>false</value>
 </property>
 ……………………………
</configuration>

3.配置指向metastore服务的主机为slave1，端口为9083

操作环境: master

#master
vim $HIVE_HOME/conf/hive-site.xml               #修改对应配置文件
#添加以下内容
<configuration>
 ……………………………
 <!-- 连接服务器-->
 <property>
  <name>hive.metastore.uris</name>
  <value>thrift://slave1:9083</value>
 </property>
</configuration>

启动Hive（5 / 5分）

服务器端初始化数据库，并启动metastore服务; 客户端开启Hive client，即可根据创建相关数据操作。

考核条件如下：

1. 初始化数据库，启动metastore服务，开启客户端

操作环境: slave1、master

#slave1
schematool -dbType mysql -initSchema      #服务器端初始化数据库

cd /usr/hive/apache-hive-2.1.1-bin        #切换到对应目录

bin/hive --service metastore              #启动metastore服务

#master
cd /usr/hive/apache-hive-2.1.1-bin        #切换到对应目录

bin/hive                                  #开启hive客户端

爱波吉的阿尼亚
关注
  • 1
    点赞
  • 踩
  • 6
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
【阿尼亚喜欢BigData】“红亚杯”大数据环境搭建与数据采集技能线上专题赛——满分解析①
qq_45943172的博客
05-31 2121
大家好，喜欢Bigdata的阿尼亚来了！希望大家会喜欢阿尼亚的文章！！哇酷哇酷！！！ 本次为师傅们带来的是“红亚杯”大数据环境搭建与数据采集技能线上专题赛——满分解析系列的第①期，让我们先来看看完整赛题叭！ 目录 “红亚杯”——大数据环境搭建与数据采集技能线上专题赛 集群安装搭建（70 / 70分） 基础环境配置（20 / 20分） Zookeeper集群环境搭建（20 / 20分） Hadoop完全分布式集群搭建（30 / 30分） 构建数据仓库（30 / 30分） 安装数据库（5
“红亚杯”-大数据环境搭建与数据采集技能线上专题赛赛题
慕铭yikm
10-18 2875
集群安装搭建（70 / 70分） 1.比赛框架 本次比赛为分布式集群搭建，共三台节点，其中master作为主节点，slave1、salve2为从节点； 2.比赛内容 基础配置：修改主机名、主机映射、时区修改、时间同步、定时任务、免密访问； JDK安装：环境变量； Zookeeper部署：环境变量、配置文件zoo.cfg、myid； Hadoop部署：环境变量、配置文件修改、设置节点文件、格式化、开启集群； Hive部署：Mysql数据库配置、服务器端配置、客户端配置。 3.版本说明 内置安.
大数据比赛-环境搭建(二)
最新发布
weixin_38383877的博客
05-15 773
链接：https://pan.baidu.com/s/1w4Hsa1wbJDfC95fX2vU_1A。链接：https://pan.baidu.com/s/1tmVEGjRI_7CXgCzcmocRAw。链接：https://pan.baidu.com/s/1tmVEGjRI_7CXgCzcmocRAw。大概意思：无法使用1.8的环境（52对应jdk1.8）运行17（61对应的。再启动即可，如果还是报同样的错误，重启ubuntu系统，再试即可完成。在/etc/profile中添加环境变量，并使其生效。
【阿尼亚喜欢BigData】“红亚杯”大数据环境搭建与数据采集技能线上专题赛——满分解析③
qq_45943172的博客
05-31 1204
大家好，喜欢Bigdata的阿尼亚来了！希望大家会喜欢阿尼亚的文章！！哇酷哇酷！！！ 本次为师傅们带来的是“红亚杯”大数据环境搭建与数据采集技能线上专题赛——满分解析系列的第③期，是“Zookeeper集群环境搭建”篇章哦！ 第①期完整赛题和第②期基础环境配置的链接在下面，师傅们想看完整赛题的请安心享用： 【阿尼亚喜欢BigData】“红亚杯”大数据环境搭建与数据采集技能线上专题赛——满分解析①_爱波吉的阿尼亚的博客-CSDN博客 ​​​​​​【阿尼亚喜欢BigData】“红亚杯”大数据环境搭建..
【阿尼亚喜欢BigData】“红亚杯”Python编程专题赛——满分解析④
qq_45943172的博客
06-29 1685
大家好，喜欢Bigdata的阿尼亚来了！希望大家会喜欢阿尼亚的文章！！哇酷哇酷！！！本次为师傅们带来的是“红亚杯”Python编程专题赛——满分解析系列的第④期，是“Python基础编程(3)”篇章哦！第①期完整赛题、第②期Python基础编程(1)和第③期Python基础编程(2)的链接在下面，师傅们想看完整赛题、Python基础编程(1)、Python基础编程(2)的请安心享用：【阿尼亚喜欢BigData】“红亚杯”Python编程专题赛——满分解析①_爱波吉的阿尼亚的博客-CSDN博客【阿尼亚喜欢Bi
【阿尼亚喜欢BigData】“红亚杯”Python编程专题赛——满分解析①
qq_45943172的博客
06-27 2102
大家好，喜欢Bigdata的阿尼亚来了！希望大家会喜欢阿尼亚的文章！！哇酷哇酷！！！本次为师傅们带来的是“红亚杯”Python编程专题赛——满分解析系列的第①期，让我们先来看看完整赛题叭！目录“红亚杯”Python编程专题赛Python基础编程（60.00 / 60分）变量赋值（2.00 / 2分）信息确认（2.00 / 2分）计算平均成绩（2.00 / 2分）计算班级数学平均成绩（2.00 / 2分）大小写转换（2.00 / 2分）大小写转换程序（2.00 / 2分）进制转换（2.00 / 2分）IP地址
【阿尼亚喜欢BigData】“红亚杯”Python编程专题赛——满分解析⑤
qq_45943172的博客
06-29 2303
大家好，喜欢Bigdata的阿尼亚来了！希望大家会喜欢阿尼亚的文章！！哇酷哇酷！！！本次为师傅们带来的是“红亚杯”Python编程专题赛——满分解析系列的第⑤期，是“Python综合编程”篇章哦！第①期完整赛题、第②期Python基础编程(1)、第③期Python基础编程(2)和第④期Python基础编程(3)的链接在下面，师傅们想看完整赛题、Python基础编程(1)、Python基础编程(2)、Python基础编程(3)的请安心享用：【阿尼亚喜欢BigData】“红亚杯”Python编程专题赛——满分解
阿尼亚查帕罗
02-19
标题 "阿尼亚查帕罗" 可能是指一个与个人或项目有关的名字，但在这个上下文中，它没有直接关联到IT知识。不过，标签 "Ruby" 提供了我们需要聚焦的关键领域——Ruby编程语言。Ruby是一种面向对象的、动态类型的脚本...
真田由希鼠标指针免费版
07-25
真田由希鼠标指针是一款可爱风格的鼠标指针，真田由希是动漫《钓球》中的主角，不过本款指针同人款是蓝色头发的，看起来更加个性，快来下载体验吧！ 鼠标指针几个安装方法： 1、压缩目标下有一个setup.inf,然后右击...
波斯帝国被谁灭亡介绍_0.pdf
12-02
2. 高加米拉战役概述：亚历山大率领4万步兵和7千骑兵进入美索不达米亚，与波斯大流士三世的庞大军队对决。尽管波斯军队在数量上占据优势，但亚历山大的战术和策略更为出色，导致波斯军队的失败。 3. 战争背景：波斯...
Proteus仿真：C51单片机实现室温测量
05-05
在本文中，我们将深入探讨如何使用Proteus仿真软件与C51单片机来实现室温测量系统。Proteus是一款强大的电子设计自动化（EDA）工具，它集成了电路设计、模拟仿真以及微控制器编程等多种功能，是嵌入式系统开发人员的...
全国职业院校技能大赛高职组”大数据“项目比赛资料
04-18
2017全国职业院校职业技能大赛任务一到任务四题目以及数据文件。
安装nvidia-docker2所需的全部安装包和依赖包
06-24
本指南将详细介绍如何安装`nvidia-docker2`及其相关的依赖包，以便在Linux系统上构建一个支持GPU的Docker环境。 首先，`nvidia-docker2`是NVIDIA提供的一个插件，它扩展了Docker的功能，使其能够识别并利用NVIDIA ...
【阿尼亚喜欢BigData】“红亚杯”Python编程专题赛——满分解析③
qq_45943172的博客
06-29 1550
大家好，喜欢Bigdata的阿尼亚来了！希望大家会喜欢阿尼亚的文章！！哇酷哇酷！！！本次为师傅们带来的是“红亚杯”Python编程专题赛——满分解析系列的第③期，是“Python基础编程(2)”篇章哦！第①期完整赛题和第②期Python基础编程(1)的链接在下面，师傅们想看完整赛题、Python基础编程(1)的请安心享用：【阿尼亚喜欢BigData】“红亚杯”Python编程专题赛——满分解析①_爱波吉的阿尼亚的博客-CSDN博客【阿尼亚喜欢BigData】“红亚杯”Python编程专题赛——满分解析②_爱
【阿尼亚喜欢BigData】“红亚杯”Python编程专题赛——满分解析②
qq_45943172的博客
06-29 2534
大家好，喜欢Bigdata的阿尼亚来了！希望大家会喜欢阿尼亚的文章！！哇酷哇酷！！！本次为师傅们带来的是“红亚杯”Python编程专题赛——满分解析系列的第②期，是“Python基础编程(1)”篇章哦！第①期完整赛题的链接在下面，师傅们想看完整赛题的请安心享用：【阿尼亚喜欢BigData】“红亚杯”Python编程专题赛——满分解析①_爱波吉的阿尼亚的博客-CSDN博客Python编程基础:主要涉及python语言的变量和常量的规则和命名规定、不同进制之间的转换、运算符的优先级顺序、编码与解码、不同数据类型
（2021红亚杯开放竞赛）hadoop,zookeeper,hive搭建要点截图
大数据
08-24 939
截图记录一下，方便日后学习~~
【阿尼亚喜欢BigData】“红亚杯”数据分析进阶—使用Python操作Hive专题赛——满分解析②
qq_45943172的博客
06-10 1237
大家好，喜欢Bigdata的阿尼亚来了！希望大家会喜欢阿尼亚的文章！！哇酷哇酷！！！本次为师傅们带来的是“红亚杯”数据分析进阶—使用Python操作Hive专题赛——满分解析系列的第②期，是“配置Hive并开启相关服务”篇章哦！第①期完整赛题的链接在下面，师傅们想看完整赛题的请安心享用：【阿尼亚喜欢BigData】“红亚杯”数据分析进阶—使用Python操作Hive专题赛——满分解析①_爱波吉的阿尼亚的博客-CSDN博客对应文件路径：/root/software/hadoop-2.7.7/etc/hadoo
2021红亚杯-Python编程线上挑战赛前20题（含自己的代码）
ShenZ的博客
08-28 2240
结束了，都结束了，我怎么这么傻，不知道要一题一题验证，写这些小东西一半都没交上去，呜呜明年还想再冲一次 前面的题目还是很简单很适合python初学者的，前面有一些题干没有记下来，后面有全题 这些都是自己写的，我本地验是可以运行的，不知道赛方检测咋样，总之我没交上去 1.传参 message='Welcome to the python match!' print(message) 2.外部传参 import sys if __name__ == '__main__': name, number
word文档怎么用Java解析
06-01
可以使用 Apache POI 库来解析 Word 文档。下面是一个简单的示例代码，可以读取 Word 文档中的文本内容： ```java import java.io.FileInputStream; import org.apache.poi.xwpf.extractor.XWPFWordExtractor; ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

爱波吉的阿尼亚

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值