创建rsa无密码登录:
ssh-keygen -t rsa
cat .ssh/id_rsa.pub .ssh/authorized_keys
先配置hdfs:
1、下载hadoop-0.20.2.tar.gz,解压;
2、修改conf/hadoop-env.sh,配置java_home;
3、配置hdfs访问路径,core-site.xml:
4、配置namenode复本数,hdfs-site.xml:
5、配置namenode元数据与操作日志路径,hdfs-site.xml:
6、配置map/reduce,mapred-site.xml:
7、对namenode路径,进行格式化:
bin/hadoop namenode -format
可以看到配置的路径被格式化后,系统建了两个目录current与image。
8、启动hdfs:
bin/start-all.sh
ps -ef|grep hdfs
会看到启动了3个java进程,1个namenode,1个datanode,1个备用namenode:
org.apache.hadoop.hdfs.server.namenode.NameNode
org.apache.hadoop.hdfs.server.datanode.DataNode
org.apache.hadoop.hdfs.server.namenode.SecondaryNameNode
9、hdfs的shell操作
上传文件: bin/hadoop fs -put test.txt cloud/test.txt
查看文件: bin/hadoop fs - ls cloud/test.txt
下载文件: bin/hadoop fs - get cloud/test.txt test2.txt
删除文件: bin/hadoop fs - rm cloud/test.txt