第4节：hadoop生态，hadoop完全分布式

配置环境变量

vim /etc/profile

export JAVA_HOME=/opt/mod/jdk1.8.0_144
export HADOOP_HOME=/opt/mod/hadoop-2.8.4
export PATH=$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH

source /etc/profile

hadoop version
java -version

无密登录

生成公钥和私钥：ssh-keygen -t rsa
然后敲（三个回车），就会生成两个文件id_rsa（私钥）、id_rsa.pub（公钥）

#将公钥拷贝到要免密登录的目标机器上，每台机器上执行一遍！！！
ssh-copy-id bigdata111
ssh-copy-id bigdata112
ssh-copy-id bigdata113

注：在另外两台机器上分别执行，共执行9遍

#不用输入密码，ssh直接进入
[root@bigdata111 mod]# ssh bigdata112

启动，bigdata111，start-dfs.sh

[root@bigdata111 hadoop-2.8.4]# jps
79009 NameNode
79300 SecondaryNameNode
34005 Bootstrap
79142 DataNode
80136 Jps
80047 NodeManager

启动，bigdata112，start-yarn.sh

[root@bigdata112 hadoop-2.8.4]# jps
2057 Jps
1932 ResourceManager
2028 NodeManager
1807 DataNode

[root@bigdata113 hadoop-2.8.4]# jps
1873 Jps
1641 DataNode
1758 NodeManager

自带jar包测试，/opt/mod/hadoop-2.8.4/share/hadoop/mapreduce

[root@bigdata111 mapreduce]# hadoop jar hadoop-mapreduce-examples-2.8.4.jar wordcount /test /out

[root@bigdata111 mapreduce]# hadoop fs -cat /out/part-r-00000
历史服务器的地址1	1
历史服务器的地址2	1
历史服务器的地址3	1
历史服务器的地址4	1