![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
BigData学习日志
文章平均质量分 64
CMCST
这个作者很懒,什么都没留下…
展开
-
windows平台使用Docker搭建分布式Spark 与 hadoop集群
续前节windows平台使用Docker搭建分布式hadoop集群安装分布式Spark篇1. 运行windows平台使用Docker搭建分布式hadoop集群产生的镜像文件hadoop_centosdocker run -v E:\COURSE\spark:/home -itd --privileged --network hadoop -h "node01" --name "node01" -p 9870:9870 -p 8088:8088 -p 4040:4040 -p 8080:808.原创 2022-04-28 18:31:08 · 4306 阅读 · 1 评论 -
启动spark与hadoop的三个节点的命令
docker run -v E:\COURSE\spark:/home -it --network hadoop -h "node01" --name "node01" -p 9870:9870 -p 8088:8088 -p 4040:4040 -p 8080:8080 -p 50070:50070 -p 9001:9001 -p 8030:8030 -p 8031:8031 -p 8032:8032 -p 8042:8042 -p 19888:19888 pyspark_hadoop_centos /b原创 2022-04-26 21:46:37 · 1222 阅读 · 0 评论 -
windows平台使用Docker搭建分布式hadoop集群
先修篇下载Docker可参考该博客的Docker安装安装Docker可能遇到的一些问题可参考该博客的Docker安装问题操作环境windows : 10Docker : 4.7.0将要拉取的镜像 : centos 7.6.18101. 安装centos 7.6镜像1.1 搜索centos 7.6镜像docker search centos71.2 拉取镜像docker pull centos:7.6.18101.3 验证镜像安装成功docker images.原创 2022-04-26 18:26:21 · 5911 阅读 · 10 评论 -
Spark 入门程序 : WordCount
1. Docker 快速部署pyspark只需安装Docker即可1.1 下载镜像docker pull jupyter/pyspark-notebook1.2 启动镜像docker run --name pyspark --rm -p 8888:8888 jupyter/pyspark-notebook或者挂载windows的一个目录亦可docker run --name pyspark --rm -v E:\COURSE\spark:/home/joyan -p 8888:8888 j原创 2022-04-21 21:18:17 · 1574 阅读 · 0 评论 -
Docker 伪分布式安装 Spark
先修篇博客:docker伪分布式安装hadoop1. 启动容器1. 运行程序docker desktop,并启动容器h01与h022. 打开cmd命令行窗口( WIN + R ,输入cmd , 回车运行即可)3. 在cmd中运行如下命令,以获取container ID(建议复制下ID)docker ps结果回显为:4. 在cmd中运行如下命令(将其中的container ID换为3中得到的container ID),以获得terminal交互界面由上一步知晓:主机名c.原创 2022-04-18 19:11:58 · 1787 阅读 · 0 评论 -
使用Docker伪分布式安装hadoop
安装Docker Desktop官网地址下载linux内核更新包(安装好Docker重启之后,会自动提示安装它)官网地址重启计算机后打开docker desktopwin + r 打开 cmd窗口拉取镜像docker pull ubuntu:16:04创建桥接网络(Docker默认使用桥接,此处亦使用桥接)docker network create -d bridge hadoop两种方式替换镜像源挂载本地文件至dockerdocker中直接修改h.原创 2022-04-16 13:36:04 · 2495 阅读 · 2 评论 -
本地windows操作虚拟机中的HDFS(伪分布式)
本文章是配合厦门大学 林子雨 的《大数据技术原理与应用》使用的本篇文章使用的环境如下:虚拟机 :Ubuntu 18.04 阿里云网盘地址 迅雷网盘地址Hadoop : hadoop 3.3.0 阿里云网盘地址 迅雷网盘地址windows : win 10JDK : 1.8 强烈建议是1.8 阿里云网盘地址 迅雷网盘地址JDK 已在windows中安装的,且非1.8的, 建议安装两个版本的 JDK (一个原有的,一个1.8)1. 搭建虚拟机中的HDFS参考林子雨老师的博客 (安装 hado原创 2022-03-20 22:02:27 · 4812 阅读 · 0 评论 -
linux 修改主机名 与 克隆虚拟机
1. 编辑文件/etc/sysconfig/network[root@node0 ~]# vim /etc/sysconfig/network文件内容NETWORKING=yesHOSTNAME=node0 # 此处修改主机名 为 node0 ,上面的不变2. 在克隆虚拟机前2.1 删除文件 /etc/udev/rules.d/70-persistent-net.rules[root@node0 ~]# rm -rf /etc/udev/rules.d/70-persistent-n原创 2022-01-02 15:57:52 · 574 阅读 · 0 评论 -
BigData Hadoop(一)配置Linux 虚拟机 [网络环境]
虚拟机的几种连接方式NAT即为网络地址转换,通常它的名称为VMnet8,通过NAT的连接方式可以使得虚拟机和真实机的网卡在不同的网段中,从而实现联网。bridge即为桥接,通常它的名称为VMnet0,使用桥接的方式使得自己的虚拟机和自己的真实机网卡在同一个网段,从而实现联网。host-only即为仅主机,通常它的名称是VMnet1,使用host-only的方式是不能和外界通信的,只能够和本机的物理网卡通信。修改网络链接方式后,记得执行以下命令:[root@localhost ~]# s.原创 2022-01-02 15:16:06 · 1218 阅读 · 0 评论