大数据技能大赛部分环境快速搭建

最新推荐文章于 2024-05-11 15:42:56 发布
最新推荐文章于 2024-05-11 15:42:56 发布
阅读量739 收藏 11
点赞数 2
文章标签： hadoop zookeeper hive centos
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_43510019/article/details/107589474
版权
本文档详细介绍了如何在CentOS系统上快速搭建大数据环境，包括配置源、安装JDK、Zookeeper、Hadoop和Hive。步骤包括下载各个软件包，如Zookeeper的两个版本，然后在所有节点上执行安装和配置，最后启动Zookeeper和Hive，并检查它们的状态以确保服务正常运行。
摘要由CSDN通过智能技术生成
配置源(三台机器执行)
pkill -9 yum
cd /etc/yum.repos.d
rm -rf  *
wget http://172.16.47.240/bigdata/repofile/bigdata.repo
yum clean all

47.92.1.221


安装包下载(master执行)

mkdir -p /softwares
cd /software

jdk

wget http://172.16.47.240/bigdata/bigdata_tar/jdk-8u171-linux-x64.tar.gz

zookeeper

wget http://172.16.47.240/bigdata/bigdata_tar/zookeeper-3.4.10.tar.gz
wget https://mirrors.huaweicloud.com/apache/zookeeper/zookeeper-3.4.10/zookeeper-3.4.10.tar.gz

hadoop

wget http://172.16.47.240/bigdata/bigdata_tar/hadoop-2.7.3.tar.gz

hive

wget http://172.16.47.240/bigdata/bigdata_tar/apache-hive-2.1.1-bin.tar.gz







zookeeper安装

master执行

mkdi
最低0.47元/天 解锁文章
Kiven_super
关注
  • 2
    点赞
  • 踩
  • 11
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Windows PC上创建大数据职业技能竞赛实验环境之一--基本环境的搭建
liu9ang的博客
04-08 2500
职业学校大数据竞赛Windows下实验环境的搭建
大数据测试平台搭建
大门的博客
06-15 1231
大数据测试平台环境搭建
大数据比赛-环境搭建(一)
最新发布
weixin_38383877的博客
05-11 641
一般刚安装的Ubuntu系统，默认的root密码是随机的，在终端中输入命令 sudo passwd，然后输入密码，即可。链接：https://pan.baidu.com/s/1IvSFzpnQFl3svWyCGRtEmg。链接：https://pan.baidu.com/s/1LRN2RXHf9vb-ufCXkY8UBQ。双击安装MobaXterm，点击New Session，输入IP和用户名user，点击OK。跳转到MobaXterm中，输入user密码，即可登录。5、输入刚才的密码即可。
【2019全国职业技能大赛大数据技术】任务一：Hadoop 相关组件安装部署（15分_答案下＜图片+分值＞）
Yummy的博客
03-30 1142
二、 Sqoop 组件部署 1、 解压/h3cu 路径下的 Sqoop 安装包到/usr/local/src 路径下，并使用相关命令，修改解压后文件夹名为 sqoop，进入 sqoop 文件夹，并将查看内容截图；（0.5 分）参考答案截图： 红框区域 一致得 得 0.5 分 ； 2、 修改 Sqoop 环境变量，并使环境变量只对当前 root 用户生效； 1) 修改基于当前用户 root 的环境变量，将环境变量配置内容截图并保存。（0.5 分）参考答案截图： 红框区域 一致得 得 0.5 分 ； 3
2022年深圳技能大赛-大数据技术应用职业技能竞赛介绍
tipdm0526的博客
08-30 1353
2022年深圳技能大赛-大数据技术应用职业技能竞赛，火热报名中！
国赛二等奖-全国大学生大数据技能竞赛指导手册
11-02
### 国赛二等奖-全国大学生大数据技能竞赛指导手册 #### 1.1 编写目的与读者对象 ##### 1.1.1 编写目的 本指导手册旨在为全国大学生大数据技能竞赛的参赛者提供详尽的操作指南，帮助他们理解和掌握竞赛所需的各项...
全国大学生大数据技能竞赛 —— 分布式平台搭建（待更）
雾蓝的博客
08-13 1738
全国大学生大数据技能竞赛 —— 分布式平台搭建基础部分 一、基础搭建 1、更改主机名 2、配置hosts文件（三台机器都要执行） 二、安装JDK 三、安装zookeeper 四、安装hadoop 五、安装hbase 六、安装hive 提高部分 七、Spark安装
上海大数据集群搭建与运维竞赛手册（中职）.pdf
02-26
通过参加此次上海中职大数据集群搭建与运维技能竞赛，参赛者不仅能提升自己的专业技能，还能深入了解大数据领域的最新技术和趋势。竞赛不仅是一次技术比拼，更是对参赛者综合素质的一次全面考验。对于学校而言，这也...
2022年职业院校技能大赛竞赛计算机网络应用项目申报书课件.doc
11-19
2022年职业院校技能大赛中的计算机网络应用项目是一项专为中职和高职学生设计的比赛，旨在检验参赛者在电子信息大类中的计算机网络技术领域的专业知识和技能。该竞赛围绕智慧园区网络的规划、部署、管理和维护，涉及...
大数据比赛demo
11-15
这是大数据比赛时的一个项目，代码比较混乱，下载去也紧供参考
全国职业院校技能大赛高职组”大数据“项目比赛资料
04-18
2017全国职业院校职业技能大赛任务一到任务四题目以及数据文件。
首届全国大学生大数据技能竞赛手册
10-18
赛项的举办，旨在有效促进高等院校计算机科学与技术、信息管理与信息系 统、统计学、经济、金融、数学专业教学模式的探索性改良，推进相关专业课程 体系、教学内容和教学方法等教学资源的质量提升和丰富完善，进而推动我国大 数据专业教育上层建筑体系质的飞跃。
2017高职大数据赛真题及参考答案
11-04
2017年的全国高职院校大数据比赛使用的真题及参考答案
Hadoop 生态圈 - 大数据竞赛 - 环境部署需求
未昔的博客
07-29 470
经验 | Hadoop 生态圈 - 大数据竞赛 - 环境部署需求 环境部署方面任务需求 完成 hadoop 环境部署 完成高可用集群环境部署 完成高可用集群故障转移 完成 hive 环境部署 完成 mysql 与 hive 使用 Mysql 作为外置存储引擎 （机器学习 ~~~ 略过） 完成效果展示： 进程启动： web 页面： 使用 Mysql 作为外置存储引擎 ...
大数据环境的搭建部署
qq_36392247的博客
10-24 493
大数据环境的搭建部署安装环境物理机环境：软件环境：用户安装范围 本篇交代的是搭建的硬件环境： 安装环境 本文档除airflow外其他全部为离线安装包安装； 物理机环境： --64位Windows10操作系统； --内存16G； --256G SSD存储； --1T 机械硬盘存储； 软件环境： --安装VMware Workstation Pro虚拟机； --虚拟机上安装的CentOS 7操作系统 * 3； --每台分配2G内存 --每台分配40G硬盘存储 用户 本机安装用户除特殊几个外均为root用户，可根
2021-4-16 /大数据竞赛：任务3，安装hadoop
qq_53587886的博客
04-16 131
完成后输入： hadoop version 判断是否安装成功
大数据比赛笔记（一）基本环境配置
u014692982的博客
09-18 605
1.1更改本地源 1.修改主机名 在master执行 hostnamectl set-hostname master 立即生效： bash 同理修改slave1和slave2的主机名 在slave1执行 hostnamectl set-hostname slave1 在slave2执行 hostnamectl set-hostname slave2 2.配置本地源 将本地源文件下载到/etc/yum.repos.d/目录下（三台机器都执行） 1) 发信号给yum进程 pk
全国大学生大数据技能竞赛指南：红亚华宇科技培训手册
- 竞赛环境配置：包括大数据集群搭建的步骤，如zookeeper、hadoop、hbase的安装以及数据仓库的构建。 - 数据采集和分析：涵盖了数据采集的任务要求、操作方法，以及数据分析的学习目标、数据集说明和使用hive进行...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值