之前我有一篇博客是Hadoop单机模式,运行在本地,数据来源于本地
https://blog.csdn.net/happytjl/article/details/89041628
这篇是伪分布模式,运行在本地,数据来源于HDFS文件系统
首先,我们需要配置两个文件。一个是core-site.xml,另一个是hdfs-site.xml
配置前我们需要创建一个data/tmp临时目录,为我们配置core-site.xml做铺垫。
1、core-site.xml配置
hadoop-senior.ibeifeng.com 是我的主机名,配置了主机名和IP的映射,所以可以直接使用主机名表示本机。
具体设置主机名和IP 看博客 https://blog.csdn.net/happytjl/article/details/89042381
hadoop.tmp.dir 下的value填入我们上面创建目录的路径
2、hdfs-site.xml配置
3、配置成功后,需要将namenode 格式化,因为namenode开始的时候是空的,但是我们hdfs系统是有数据的,
所以我们格式化生成数据。
4.格式化成功显示如下
5、sbin/hadoop-daemon.sh start namenode //启动namenode
sbin/hadoopo-daemon.sh start datanode //启动datanode
jps //查看启动了哪些
打开web界面 http://hadoop-senior.ibeifeng.com:50070
6、 bin/hdfs dfs -mkdir -p /user/beifeng /input //在hdfs文件系统下创建/user/beifeng/input文件夹
ls //查看本机hadoop-2.5.0的文件,wc.text是我们单机模式下
7、bin/hdfs dfs -put wc.text /user/beifeng/input //将本地的wc.text文件上传到hdfs文件系统 /user/beifeng/input目录
bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.5.0.jar wordcount /user/beifeng/input/ /user/beifeng/output //测试hadoop伪分布
8、bin/hdfs dfs -ls /user/beifeng/ //查看hdfs文件系统/user/beifeng/下有哪些文件 ,发现多了一个output文件,就是我们上面测试所生成的文件
bin/hdfs dfs -cat /user/beifeng/output/part* //查看output下的part开头的文件内容,内容如下
到这里就说明我们的伪分布搭建成功啦~