伪分布式Hadoop集群搭建

Hadoop：

前提：jdk安装好、Hadoop解压好，并且配置好环境变量

vi /etc/ profile

export JAVA_HOME=jdk具体安装目录

export HADOOP_HOME=hadoop具体安装目录

export PATH=$PATH:$JAVA_HOME/bin:HADOOP_HOME/bin:HADOOP_HOME/sbin

source /etc/profile

java -version

hadoop version

过程：6个配置文件修改，互信，主机名解析配置

hadoop-env.sh 主要配置JAVA_HOME的具体路径

core-site.xml hadoop的核心配置文件，主要配置了hdfs文件系统(客户机接口)及数据目录和访问权限

Namenode的配置

hdfs-site.xml hdfs文件系统的核心配置文件，主要配置了数据文件的备份分片数、secondaryName配置

mapred-site.xml mapreduce的计算中枢核心配置文件，主要在这里配置选择的管理者(一般是yarn)

yarn-site.xml yarn的核心配置文件，主要配置了resourcemanager

slaves 工作节点，后续版本会改为workers。Datanode，yarn会默认产生一个nodemanager

名称解释：

Hadoop：分布式文件管理系统

hdfs：分布式文件系统

mapreduce:分布式计算系统

yarn：分布式管理系统

NameNode:总裁

SecondaryNameNode：秘书

ResourceManager：总经理

NodeManager：部门经理

DataNode：各部门员工

格式化，并启动，测试

hdfs namenode -format

start-dfs.sh (start-all.sh)

代码：

ps:具体文件配置需配合秘籍，以下只是流程而已

vi /etc/sysconfig/network-scripts/ifcfg-ens33

systemctl restart network

systemctl stop firewalld

 systemctl disable firewalld

cd /opt 

ll

tar -zxcf *.tar.gz 

tar -zxvf jdk-8u221-linux-x64.tar.gz 

tar -zxvf hadoop-2.6.0-cdh5.14.2.tar.gz 

ll

rm -f hadoop-2.6.0-cdh5.14.2.tar.gz 

rm -f jdk-8u221-linux-x64.tar.gz

mv hadoop-2.6.0-cdh5.14.2 hadoop 

ll 

vi /etc/profile 

source /etc/profile

java -version 

hadoop version 

cd hadoop/etc/hadoop 

ll 

vi hadoop-env.sh

vi core-site.xml

vi hdfs-site.xml 

vi slaves 

mv mapred-site.xml.template mapred-site.xml 

vi mapred-site.xml 

vi yarn-site.xml 

hostnamectl set-hostname master //此时的master是虚拟机名字不一定是master

bash

hdfs namenode -format

bash

reboot

exit

start-all.sh

stop-all.sh

vi hdfs-site.xml 

jps

rm -rf /opt/hadoop/tmp

hdfs namenode -format

start-all.sh

jps