hadoop伪分布式虚拟机环境搭建

在上一期的基础上只需要修改一下配置文件即可

附上上一期的地址

 

一、修改配置HDFS运行模式和运行时目录   core-site.xml 我的修改如下（配置文件都在（/opt/installed/hadoop-2.7.3/etc/hadoop目录下））：

配置hdfs-site.xml

配置hadoop-env.sh

配置yarn  yarn-env.sh

配置yarn-site.xml

配置maped-site.xml

你会发现没有mapred-site.xml我们需要把mapred-site.xml.template改为mapred-site.xml命令如下：

sudo mv mapred-site.xml.template mapred-site.xml

配置maped-env.sh

配置历史服务

配置日志功能在yarn-site.xml添加下列内容

格式化Namenode

启动Namenode使用jps检查是否成功如下图启动成功

启动Datanode

使用jps查看是否启动成功

 

接下来启动resourcemanager

 

启动nodemanager

启动历史服务

以上都是单点启动

 启动dfs服务和yarn服务的另外方式

# 开启dfs，包括namenode，datanode，secondarynamenode服务

sbin/start-dfs.sh 

# 开启yarn，包括resourcemanager，nodemanager

sbin/start-yarn.sh

# 开启所有的服务(过时)

sbin/start-all.sh

hdfs的web客户端是http://192.168.32.20:50070（如果不能访问在其他一切正常的情况下关闭虚拟机防火墙）

YARN的Web客户端端口号是8088，通过http://192.168.32.20:8088/可以查看

运行MapReduce Job

在Hadoop的share目录中，自带jar包，里面有一些MapReduce的例子，位置在share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.3.jar。以wordCount为例。

首先在hdfs创建输入目录

bin/hdfs dfs -mkdir -p /wordcounttest/input
创建测试文件wc.input，内容如下：

创建data目录

mkdir data

进入data目录

cd data

创建wc.input

vim wc.input

在文件中输入，如下内容

hadoop mapreduce hive
hbase spark storm
sqoop hadoop hive
spark hadoop
将wc.input文件上传到HDFS的/wordcounttest/input目录下：

bin/hdfs dfs -put data/wc.input /wordcounttest/input
查看/wordcounttest/input目录

bin/hdfs dfs -ls /wordcounttest/input
运行WordCount MapReduce Job

bin/yarn jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.5.jar wordcount  /wordcounttest/input /wordcounttest/output
查看输出结果目录

bin/hdfs dfs -ls /wordcounttest/output