hadoop伪分布式

伪分布式创建流程

首先是单节点配置之后，在后面追加几个配置文件。（如果没有配置看本人的博客）；
在[root@zhiyou01 hadoop-2.7.3]# cd etc/hadoop/下
修改core-site.xml和hdfs-site.xml

//core-site.xml添加

<configuration>

<!-- 指定HDFS中NameNode的地址 -->
<property>
        <name>fs.defaultFS</name>
        <value>hdfs://zhiyou101:9000</value>
</property>


<!-- 指定hadoop运行时产生文件的存储目录 -->
<property>
        <name>hadoop.tmp.dir</name>
        <value>/var/hadoop/data</value>
</property>
</configuration>


//在hdfs-site.xml添加
<configuration>

<!-- 指定HDFS副本的数量，默认是三份 -->
        <property>
                <name>dfs.replication</name>
                <value>1</value>
        </property>
</configuration>

然后格式化namenode

//格式化命令
[root@zhiyou01 bin]# ./hadoop namenode -format

启动这两个namenode、datanode

[root@zhiyou01 sbin]# ./hadoop-daemon.sh start namenode
[root@zhiyou01 sbin]# ./hadoop-daemon.sh start datanode
//使用jps命令查看一下出现以下结果为成功
[root@zhiyou01 sbin]# jps
3089 NameNode
3187 DataNode
3566 Jps
[root@zhiyou01 sbin]# 

通过浏览器查看：ip:端口访问页面默认为50070

代表成功。

//在HDFS上创建目录
[root@zhiyou101 bin]# ./hadoop fs -mkdir -p /hadoop/input
//下面的只为测试。
[root@zhiyou101 bin]# ./hdfs dfs -mkdir -p /my/aaa
//找到一个文件向HDFS上
[root@zhiyou101 input]# hdfs dfs -put ./wc.txt /hadoop/input
//进阶这测试
[root@zhiyou01 sbin]# hadoop jar /usr/local/hadoop-2.7.3/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.3.jar wordcount /hadoop/input/wc.txt  ../output
//结果页面上看。

这代表成功。