aliyun hadoop环境搭建学习

一: 在aliyun1上向aliyun2传文件.

命令格式 : scp local_file remote_username@remote_ip:remote_folder

例如:

scp hadoop-2.9.0.tar.gz hadoop@aliyun2:/home/hadoop

参考博客:http://blog.csdn.net/gatieme/article/details/51673229

二.安装java

1.传输压缩包 scp jdk-8u161-linux-x64.tar.gz root@aliyun2:/usr/java

2.安装到/usr/java目录下 tar -zxvf jdk-8u161-linux-x64.tar.gz

3.设置环境变量 vi /etc/profile

JAVA_HOME=/usr/java/jdk1.8.0_161
JRE_HOME=$JAVA_HOME/jre
CLASS_PATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:$JRE_HOME/lib
PATH=$PATH:$JAVA_HOME/bin:$JRE_HOME/bin

export JAVA_HOME JRE_HOME CLASS_PATH PATH

然后source /etc/profile, 再用java -version验证一下.

三.进入目录cd /home/hadoop/hadoop-2.9.0/etc/hadoop

1.配置hadoop-env.sh文件, 将export JAVA_HOME=${JAVA_HOME} 修改为: export JAVA_HOME=/usr/java/jdk1.8.0_161   

2.配置core-site.xml文件:

<property>
    <name>fs.defaultFS</name>
    <value>hdfs://aliyun1:9000</value>

</property>

value值的aliyun1是主节点的域名.

3.配置mapred-site.xml文件:

4.配置hdfs-site.xml文件:

5.配置slaves文件

aliyun2

aliyun3

验证一下

[hadoop@aliyun1 hadoop-2.9.0]$ bin/hadoop fs -mkdir /home

[hadoop@aliyun1 hadoop-2.9.0]$ bin/hadoop fs -ls /
Found 1 items

drwxr-xr-x   - hadoop supergroup          0 2018-03-11 18:00 /home

和

bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.9.0.jar pi 2 1000

四.ssh互联

1. ssh-keygen -t rsa 生成共秘钥

2.将aliyun1, aliyun2, aliyun3的id_rsa.pub汇集到一个文件authorized_keys,  然后通过命令scp authorized_keys hadoop@aliyun2:/home/hadoop/.ssh/  传输到aliyun2和aliyun3,  这样就能hadoop用户相互ssh不需要密码了.