HDFS伪分布式单节点版搭建过程总结

1.推荐下载hadoop的cdh版本，这里我下载的是hadoop-2.6.0-cdh5.7.0版本的
下载Hadoop地址：http://archive.cloudera.com/cdh5/cdh/5/hadoop-2.6.0-cdh5.7.0.tar.gz
Linux用tar -zxvf命令解压到你指定的位置即可
２．安装JDK，配置Java环境这里就不说了，Hadoop需要Jvm,必须跑在java环境上
３．安装ssh
sudo apt-get install ssh
ssh-keygen -t rsa
后面直接回车，免密
最后cp .ssh/id_rsa.pub ~/.ssh/authorized_keys

测试是否连接成功



４．修改hadoop-env.sh文件，添加jdk路径
vi hadoop-env.sh


详情见http://hadoop.apache.org/docs/stable/hadoop-project-dist/hadoop-common/SingleCluster.html
vi core-site.xml
添加

    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://zq:8020</value>
    </property>

<property>
        <name>hadoop.tmp.dir</name>
        <value>/home/zq/hadoop-2.6.0-cdh5.7.0/tmp</value>
    </property>
    

vi hdfs-site.xml
添加

    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>

vi slaves
里面的localhost可以改成你的当前用户名，也可以不改
vi /etc/hosts
加上自己的ip和用户名

5.启动HDFS:
格式化文件系统(仅第一次执行一次，不要重复执行，不然会再一次格式化,清空数据)：hdfs/hadoop namenode -format

./start-dfs.sh
验证是否成功的两种方法：
１．浏览器输入http:\zq:50070,显示如下网页即可

点击Live Nodes

或者输入jps
显示
23072 SecondaryNameNode
23252 Jps
22885 DataNode
22744 NameNode
23072这些端口号是随机变化的，这个不用管，出现SecondaryNameNode、Jps、DataNode、NameNode即可确定启动成功！

停止HDFS:
./stop-dfs.sh
看到我后面几遍关于hadoop的博客的小伙伴们，如果我们要关闭hadoop集群(包括HDFS,YARN等等)，则只需要运行stop-all.sh
再次运行jps时，只有一个jps进程在运行，其它hadoop的进程都已经关闭了

到这里HDFS单机版搭建就完成了，如果还有问题，可以在评论区下面给我留言．