1、安装jdk
rpm -i jdk
配置环境变量
Java的默认安装路径:/usr/java
2、免秘钥:
首先登陆自己,生成自己的密钥和公钥文件:ssh localhost
然后生成自己的公钥和密钥:
ssh-keygen -t dsa -P '' -f /root/.ssh/id_dsa
设置自己和自己的免秘钥:
进入 cd .ssh
将自己的公钥发给自己:
[root@node12 .ssh]# cat id_dsa.pub >> authorized_keys
设置和别人的免秘钥:
将自己的公钥分发给别人
[root@node11 .ssh]# scp id_dsa.pub root@192.168.92.14:`pwd`/nod11.pub
root@192.168.92.14's password:
scp: /root/.ssh/nod11.pub: No such file or directory
[root@node11 .ssh]#
然后去node12上边,将发送来的公钥追加到自己的authorized_keys
[root@node12 .ssh]# cat node11.pub >> authorized_keys
这下node11就可以登录node12了,就完成了免密登录
[root@node11 .ssh]# ssh node12
然后依次执行:
[root@node11 .ssh]# cat node12.pub >> authorized_keys
[root@node11 .ssh]# cat node13.pub >> authorized_keys
[root@node11 .ssh]# cat node14.pub >> authorized_keys
[root@node11 .ssh]# cat node15.pub >> authorized_keys
[root@node11 .ssh]# cat id_dsa.pub >> authorized_keys
将core-site.xml修改为;
修改slaves
修改hdfs-site.xml
在伪分布式的基础上,将配置文件修改,然后复制分发给集群中的其他节点
[root@node11 opt]# scp -r ./sxt/ node14:/opt/
格式化:
hdfs namenode -format
格式化之后:
[root@node14 current]# pwd
/var/sxt/hadoop/full/dfs/name/current
[root@node14 current]# ll
total 16
-rw-r--r-- 1 root root 321 Dec 20 10:25 fsimage_0000000000000000000
-rw-r--r-- 1 root root 62 Dec 20 10:25 fsimage_0000000000000000000.md5
-rw-r--r-- 1 root root 2 Dec 20 10:25 seen_txid
-rw-r--r-- 1 root root 206 Dec 20 10:25 VERSION
[root@node14 current]#
在第一台节点上启动namenode,然后初始化其他的节点:
start-dfs.sh
去地址栏输入访问:
hdfs dfs -ls /
在hdfs里边执行命令的时候,都需要进行加上hdfs dfs,然后才是Linux原本的命令
hdfs上传文件的命令:
[root@node12 ~]# hdfs dfs -D dfs.blocksize=1048576 -put ./test.txt
脚本语言
for i in `seq 100000`;do echo "hello sxt $i" >> test.txt; done
上传文件的命令:
[root@node11 ~]# hdfs dfs -put ./test.txt /usr/root