Hadoop伪分布式搭建

官方文档，不同版本修改url地址中的数字即可

http://hadoop.apache.org/docs/r2.7.2/hadoop-project-dist/hadoop-common/SingleCluster.html#Standalone_Operation

 

配置相关文件

配置：hadoop-env.sh

位于${HADOOP_HOME}/etc/hadoop/

 

 

配置：core-site.xml

<!-- 指定 HDFS 中 NameNode 的地址 -->

<property>

<name>fs.defaultFS</name>

<value>hdfs://hadoop101:9000</value>

</property>

<!-- 指定 hadoop 运行时产生文件的存储目录 ，如果不配置默认在/tmp/hadoop-${user.name}-->

<property>

<name>hadoop.tmp.dir</name>

<value>/opt/module/hadoop-2.7.2/data/tmp</value>

</property>

 

配置：hdfs-site.xml

<!-- 指定 HDFS 副本的数量 ，如果不配置默认为3-->

<property>

<name>dfs.replication</name>

<value>1</value>

</property>

 

启动伪分布式集群

格式化 namenode，当且仅当第一次启动的时候格式化：bin/hdfs namenode -format

启动 namenode：sbin/hadoop-daemon.sh start namenode

启动 datanode：sbin/hadoop-daemon.sh start datanode

 

 

使用命令查看集群节点状态：jps

 

 

查看日志信息：ls logs/

 

 

使用网页查看HDFS文件系统，端口号为50070

hadoop101:50070

 

操作HDFS文件系统

在hdfs文件系统上创建input文件夹

bin/hdfs dfs -mkdir -p /user/hewang/input

 

上传wc.input文件到hdfs文件系统上

bin/hdfs dfs -put wcinput/wc.input /user/hewang/input

 

查看上传的文件

bin/hdfs dfs -cat /user/hewang/input/wc.input

 

 

运行wordcount案例

bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.2.jar wordcount /user/hewang/input/ /user/hewang/output

 

查看运行的结果

bin/hdfs dfs -cat /user/hewang/output/part*

 

转载于:https://www.cnblogs.com/gtx690/p/11358223.html