![](https://img-blog.csdnimg.cn/20201014180756916.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
云计算
文章平均质量分 93
艾伦拜尔AllenBayer
程序好好,烦恼少少
展开
-
【云计算】VMware虚拟机完成在Docker部署Hadoop集群并发布在阿里云和DockerHub
VMware虚拟机完成在Docker部署Hadoop集群并发布在阿里云和DockerHub原创 2022-05-05 16:20:10 · 2307 阅读 · 2 评论 -
【云计算】搭建Spark On Yarn集,编写Spark scala程序,求解n个数的最大值
【云计算】搭建Spark On Yarn集,编写Spark scala程序,求解n个数的最大值原创 2022-05-04 11:13:13 · 391 阅读 · 0 评论 -
【云计算】3台虚拟机完成Spark Yarn集群部署并编写Scala应用程序实现单词计数统计
1.准备环境虚拟机:vmware workstation16linux版本:centOS 7linux 分布式环境:hadoop 3.1.1(1)创建三台虚拟机,并准备好linux环境和hadoop,确保hadoop集群能成功运行hadoop启动成功后,网页DataNode页面如下主机为master(在网页上不显示),从机1为slave1,从机2为slave2,这是在配置hadoop时为三台机器配置的名字。(2)准备安装文件需要的安装文件如下spark 2..原创 2022-04-21 18:27:31 · 4475 阅读 · 0 评论 -
【云计算】Hadoop3.1伪分布式环境搭建
1.环境准备Hadoop3.1.1下载:Index of /dist/hadoop/common/hadoop-3.1.1https://archive.apache.org/dist/hadoop/common/hadoop-3.1.1/创建Centos7虚拟机之后,建立三个新文件夹用于存放文件把我们的环境文件放入对应的文件夹2.安装jdk1.8进入java文件夹,解压安装jdk1.8[root@localhost master]# cd java解压:ta.原创 2022-03-29 20:35:50 · 4073 阅读 · 1 评论