二、hadoop——分布式环境搭建

1安装版本及环境
vmware11
Centos6.5 64位版本
JDK1.8linux32位版
Hadoop2.7.3版本

2 安装步骤
（1）字符界面安装centos6.5，网络设置为主机模式或者桥连接
（2）配置静态ip 并测试能不能从本地主机ping的通虚拟机.参考：https://blog.csdn.net/yu0_zhang0/article/details/78756160
注释掉uuid,配置完之后重启，ping一下百度或者用火狐访问百度
（3）使用secureCRT进行远程ssh登陆
　 首先修改配置文件　　vi /etc/ssh/sshd_config
找到#Port 22一段，这里是标识默认使用22端口
（4）配置etc/hosts 添加ip对应的主机名，比如192.168.17.2 master
（5）安装ssh 客户端，通过修改本地yum源来进行，成功后重启服务
关闭防火墙 chkconfig
（6）创建普通用户 hadoop（名字可自定义）
adduser hadoop加用户
passwd hadoop设密码
Vi /etc/sudoers 文件末尾加上 hadoop ALL=(ALL) ALL 授权
（7）设置免密钥ssh登录（伪分布式其实可以省略）

（8）上传jdk和hadoop2.7.3
（9）使用普通用户登陆，在home目录下创建bd文件夹（非必需）
（10）分别解压jdk和hadoop2.7.3，并测试tar –zxvf
（11）配置普通用户的环境变量，.bashrc(也可以直接在etc/profile进行配置)
（12）测试echo $JAVA_HOME

（13）修改配置5个配置文件
hadoop-env.sh
core-site.xml
hdfs-site.xml
mapred-sit.xml（将mapred-sit.xml.template重命令）
yarn-site.xml
格式化namenode,使用jdk下面的bin目录中的jps来查看下进程或者查看日志，在hadoop解压目录中logs里面
（14）在主机windows里面的system32/drivers/etc/hosts里面添加linux主机名对应的linux里面的ip
（15）通过浏览器进行访问8088端口和50070端口进行测试

修改配置5个配置文件
a）hadoop-env.sh

#The java implementation to use.
export JAVA_HOME=/home/hadoop/bd/jdk1.8.0_144

b) core-site.xml


fs.defaultFS
hdfs://192.168.153.111:9000


hadoop.tmp.dir
/home/hadoop/bd/hadoop-2.7.3/tmp

c) hdfs-site.xml


dfs.replication
1

d) mapred-sit.xml（将mapred-sit.xml.template重命令）

mapreduce.framework.name yarn

e) yarn-site.xml

    <property>
            <name>yarn.resourcemanager.hostname</name>
            <value>192.168.153.111</value>
    </property>

    <property>
            <name>yarn.nodemanager.aux-services</name>
            <value>mapreduce_shuffle</value>
    </property>