数据管理
我是一只妖精
没有记录就没有成长
展开
-
【Spark】【配置】Spark+Hadoop分布式配置(4台服务器)
【Spark】【配置】Spark+Hadoop分布式配置(4台服务器) 首先需要安装好JDK环境和HDFS分布式环境,hdfs配置可查看 Hadoop完全分布式配置 注:所有设备上的spark配置的文件路径必须一致,jdk和python版本也需要一致。因此最好放在/usr/ 或者/home/下面,不然需要在每个设备上分别创建同样路径的文件夹。python可以使用conda下的环境。 本文使用的4台server,ip分布如下: master worker 10.57.175.11 10.5原创 2020-12-01 16:52:02 · 515 阅读 · 0 评论 -
【Hadoop】【配置】Hadoop完全分布式配置(4台服务器)
【Hadoop】【配置】Hadoop完全分布式配置(4台服务器) Hadoop部署模式有:本地模式、伪分布模式、完全分布式模式、HA完全分布式模式。区分的依据是NameNode、DataNode、ResourceManager、NodeManager等模块运行在几个JVM进程、几个机器。本文使用了完全分布式模式,配置了1namenode+1secondaryNamenode+4datanode结构的hadoop框架。 注:所有设备上的hadoop配置的文件路径必须一致,jdk版本也需要一致。因此最好放在/原创 2020-12-01 16:13:56 · 1561 阅读 · 0 评论