![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
大数据
我是一只妖精
没有记录就没有成长
展开
-
【Spark】【配置】Spark+Hadoop分布式配置(4台服务器)
【Spark】【配置】Spark+Hadoop分布式配置(4台服务器)首先需要安装好JDK环境和HDFS分布式环境,hdfs配置可查看 Hadoop完全分布式配置注:所有设备上的spark配置的文件路径必须一致,jdk和python版本也需要一致。因此最好放在/usr/或者/home/下面,不然需要在每个设备上分别创建同样路径的文件夹。python可以使用conda下的环境。本文使用的4台server,ip分布如下:masterworker10.57.175.1110.5原创 2020-12-01 16:52:02 · 526 阅读 · 0 评论 -
【Hadoop】【配置】Hadoop完全分布式配置(4台服务器)
【Hadoop】【配置】Hadoop完全分布式配置(4台服务器)Hadoop部署模式有:本地模式、伪分布模式、完全分布式模式、HA完全分布式模式。区分的依据是NameNode、DataNode、ResourceManager、NodeManager等模块运行在几个JVM进程、几个机器。本文使用了完全分布式模式,配置了1namenode+1secondaryNamenode+4datanode结构的hadoop框架。注:所有设备上的hadoop配置的文件路径必须一致,jdk版本也需要一致。因此最好放在/原创 2020-12-01 16:13:56 · 1578 阅读 · 0 评论