搭建Hadoop完全分布式

学习目标：

1.理解Hadoop分布式体系架构；
2.理解Hadoop配置文件参数的含义；
3.学会逐一启动Hadoop和统一启动Hadoop；
4.学会在HDFS中上传文件。

---

学习内容：

1.能搭建出分布式的hadoop平台，master和slave的进程正常启动;
2.能创建和管理HDFS文件；
3.能运行测试mapreduce程序。

---

学习时间：

1、 周一至周五晚上 7 点—晚上9点
2、 周六上午 9 点-上午 11 点
3、 周日下午 3 点-下午 6 点

---

学习产出：

大家好呀！我是honey,我又又又来啦！今天我想和大家一起学习一下搭建Hadoop完全分布式。同样还是在大数据云创平台上搭建哟！

1.配置Hadoop安装环境

1.1修改host文件 vi /etc/hosts  下面的IP地址是你自己的IP地址哟！

1.2将hosts文件scp 到slave1和slave2

scp /etc/hosts root@slave1:/etc/hosts

scp /etc/hosts root@slave2:/etc/hosts

1.3配置免密

在master slave1 和 slave2 上分别执行 ssh localhost 

在master生成公钥  cd ~/.ssh   ssh-keygen -t rsa

将公钥scp拷贝到master，salve1和slave2

scp id_rsa.pub root@master:/root/.ssh/authorized_keys

scp id_rsa.pub root@slave1:/root/.ssh/authorized_keys

scp id_rsa.pub root@slave2:/root/.ssh/authorized_keys

然后在master 上ssh到slave1、slave2看是否需要密码 记得测试完了要记得exit退出一下

2.修改Hadoop的配置文件

修改配置文件其实和前面我们搭建伪分布式时差不多的，只不过完全分布式要多修改几个文件了就让honey偷偷懒吧！我这里就只说修改哪几个文件哈。

core-site.xml

hdfs-site.xml

yarn-site.xml

mapred-site.xml（修改这个文件的时候由于原本的文件是 mapred-site.xml.template，这样多了个后缀会访问不到所以我们要把 mapred-site.xml.template 复制成mapred-site.xml）

slaves文件

hadoop_evn.sh（这个和伪分布式修改的列容一样）

好了假设我们前面几个文件都修改完了并且没有错误，我们又继续进行下一步操作吧

将master上的配置文件，scp到slave1和slave2

scp -r /usr/cstor/hadoop/etc/hadoop/ root@slave1:/usr/cstor/hadoop/etc/

scp -r /usr/cstor/hadoop/etc/hadoop/ root@slave2:/usr/cstor/hadoop/etc/

3.格式化namenode

./bin/hdfs namenode -format

如果·你在格式化namenode的时候出现了错误一定要记得回去检查你的配置文件有没有出错呢！

大伙一定要细心一定哟！在修改配置文件的时候不要像我一样，我老粗心了，回去改配置文件改了半天。

4.启动Hadoop集群

./sbin/start-all.sh

你也可以一个一个的启动。

5.查看启动后的结果、

 

 

---