hadoop的伪分布式以及完全分布式的搭建

1.伪分布式的搭建
准备工作：
1.将需要的软件进行上传到相应的虚拟机上；
2.对虚拟机首先实行一个ip对主机名的绑定，
vi /etc/hosts 加上本虚拟机的ip和主机名，
vi /etc/sysconfig/network 主机名的修改；
3.然后对jdk和hadoop进行初期的配置，环境变量，在、vi etc/profile 将jdk和hadoop的路径加上 ，格式：export JAVA_HOME=/../
export PATH=$PATH:$JAVA_HOME/bin 等hadoop也是同样操作 ；完了之后需要立即生效，source /etc/profile就行了；接下来查看是否配置成功，因为虚拟机自带jdk所以，需要将原本存在的进行卸载 rpm -e ….. –nodeps(依赖)
4.配置hadoop的配置文件了，主要是六个；
(1)hadoop-env.sh 这个里面只需要将jdk的路径加上就行了；
(2)core-site.xml 这个需要配置主节点的通信地址
name里面配置写入:fs.defaultFS
value：hdfs://master:9000 协议：//主机名：端口 hdfs 伪分布式9000 完全分布式8020 hdfs://master:9000为数据节点和主节点的通信地址
/property： 配置项的终止标签
/configuration：配置文件的终止标签
(3).hdfs-site.xml hdfs的配置文件
对于伪分布式先配副本个数就行了
property>
//配置hdfs的副本信息
name>dfs.replication <:name
value>1<:value
/property>
(4)首先需要复制一份mapred-site.xml然后进行配置
这个配置的就是计算程序使用的map框架
property>
name>mapreduce.framework.name<：name>
value>yarn<：value>
<：property>
(5)配置yarn-site.xml.配置服务，所用的是shuffle

name>yarn.nodemanager.aux-services<:name>
value>mapreduce_shuffle<:value>
<:property>
(6)slaves,添加节点信息，也就是主机名，
入 slave 01等；
（以上代码不完整，为了让其先显示，将反斜杠以：代替，少了一些括号）