hadoop学习（二）

伪分布式环境搭建（一）

ssh免密登录
1.本机
ssh-keygen -t rsa  //在root用户使用ssh工具生成秘钥（也可以使用普通用户）
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys   //复制一份秘钥
ssh 本机
2.其他服务器
ssh-keygen -t rsa

ssh-copy-id 用户名@IP

cat .ssh/id_rsa.pub

cat .ssh/authorized_keys

//另外我们要注意，.ssh目录的权限为700，其下文件authorized_keys和私钥的权限为600

伪分布式环境搭建（二）

准备linux环境【java、ip、hostname、hosts、iptables、chkconfig、ssh、免密码登录】

依赖环境

jdk1.8

下载地址：

官网下载地址：https://archive.apache.org/dist/hadoop/common/hadoop-2.7.5/  【版本最全，国内下载速度慢】

镜像站下载地址：https://mirrors.tuna.tsinghua.edu.cn/apache/hadoop 【只有最近的一些版本，国内下载速度快】

解压缩安装包hadoop-2.7.5.tar.gz

主要修改$HADOOP_HOME/etc/hadoop目录下的配置文件core-site.xml、hdfs-site.xml、yarn-site.xml、mapred-site.xml 还有hadoop-env.sh、yarn-env.sh、slaves文件中的内容也需要修改

启动

第一次启动之前需要先格式化

验证

jps验证

浏览器验证

hdfs web地址：http://hadoop100:50070

yarn web地址：http://hadoop100:8088