linux下安装hadoop伪分布式集群

1.    在虚拟机上安装了centos7，

下载hadoop。http://hadoop.apache.org/releases.html  这里选择2.7版本而不是3.0版本

不选3.0版本的理由，查看版本更新日志

  参考http://www.cnblogs.com/CuteNet/p/3947193.html 卸载openjdk安装 jdk

在centos中测试是否安装java   （java -version）能看到java版本说明已经安装

  将下载好的hadoop压缩包执行以下命令解压，注意不要用root用户解压

$tar –xf Hadoop hadoop-2.7.3.tar.gz

配置java和hadoop的环境变量，执行命令vim /etc/profile,在后面加入如下语句，HOME的路径和bin路径按照自己的实际路径设置，执行 source /etc/profile 使配置生效

更改/home/LT/hadoop/hadoop-2.7.3/etc/hadoop下的hadoop-env.sh将JAVA_HOME路径指向JDK安装路径 大概在27行

输入hadoop，可以查看信息

如果没有看到，查看路径信息是否填错，不行重启虚拟机试试

之后关闭虚拟机的防火墙

systemctl stop firewalld.service #停止firewall
systemctl disable firewalld.service #禁止firewall开机启动
firewall-cmd --state #查看默认防火墙状态（关闭后显示notrunning，开启后显示running）

重启centos虚拟机

之后更改/home/LT/hadoop/hadoop-2.7.3/etc/hadoop下的文件，

core-site.xml    vim core-site.xml  

加入<configuration>标签中的内容 ，

如果不知道自己的ip地址，查看ip地址命令为ifconfig

更改hdfs-site.xml  vim hdfs-site.xml

更改mapred-site.xml （将mapred-site.xml.template  重命名为 mapred-site.xml   命令：mv mapred-site.xml.template mapred-site.xml）

更改yarn-site.xml   vim yarn-site.xml

更改slaves文件，  vim slaves 加入自己（slave）的ip地址

配置ssh免密钥登录

#生成ssh免登陆密钥
#进入到我的home目录
cd ~/.ssh
（linux中前面为.号的为隐藏文件）
ssh-keygen -t rsa （四个回车）
执行完这个命令后，会生成两个文件id_rsa（私钥）、id_rsa.pub（公钥）
（将公钥拷贝到要免登陆的机器上 scp id_rsa.pub spark01:/home/hadoop）
将公钥拷贝到以授权密钥列表 cat ../id_rsa.pub >> ./authorized_keys
（如果没有文件authorized_keys 则自己新建，并更改文件权限 chomd 600 authorized_keys 键入ll查看文件权限需为-rw-------）

验证配置成功，首次登录可能需要确认，输入Yes即可

首次启动，需要格式化namenode（是对namenode进行初始化）
hdfs namenode -format

启动hdfs

start-dfs.sh ，输入jps查看

启动yarn

start-yarn.sh ，输入jps查看

是否启动成功

启动了红框的进程就成功了，如果有的没启动，则将自己在hadoop下添加的文件夹内容请空（datanode文件夹，namenode文件夹，logs文件夹），重新格式话namenode

hdfs namenode -format  ( 或 hadoop namenode -format)

在浏览器输入

http://192.168.211.134:50070 （HDFS管理界面）    

http://192.168.211.134:8088 （MR管理界面）

hadoop安装成功