1.实验目的
初步认识Hadoop,了解Hadoop。
2.实验平台
操作系统:Windows+Vmware
3.实验内容和要求
Linux系统JDK的安装和配置;
Linux系统下的HelloWorld;
Hadoop单机分布式配置与测试;
4.实验报告
Linux系统JDK的安装和配置;
首先将jkd文件拷到linux系统/simple目录下
执行tar -xvf jdk-8u191-linux-x64.tar.gz
编辑/etc/profile文件
执行source /etc/profile
执行java,javac,java –version查看是否正确
Linux系统下的HelloWorld;
执行cd /simple
执行vi HelloWorld.java内容如下
public class HelloWorld {
public static void main(String[] args) {
System.out.println("HelloWorld");
}
}
Linux下HelloWorld完成
Hadoop单机分布式配置与测试;
先将Hadoop文件拷到/simple下
执行tar -xvf hadoop-2.7.1.tar.gz
编辑/etc/profile文件
执行执行source /etc/profile
切换到/simple/hadoop-2.7.1/etc/hadoop目录下
编辑hadoop-env.sh文件,在文件内添加export JAVA_HOME=/simple/jdk1.8.0_191/
在/simple/hadoop-2.7.1/bin下新建一个input目录mkdir input
将/simple/hadoop-2.7.1/etc/hadoop目录下所有以.xml文件拷贝到/simple/input下
命令为cp /simple/hadoop-2.7.1/etc/hadoop/*.xml input
执行hadoop jar /simple/hadoop-2.7.1/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.1.jar grep input output 'number' 这条命令是查找一下input目录文件内容中number出现的次数,将结果保存在output目录下part-r-00000文件中,查看一下
显示出现五次,我们用命令产看一下结果对不对
发现number出现的次数就是五次,
Hadoop单机分布式配置与测试到这就完成了。
Hadoop伪分布式配置与测试;
这个实验在上个实验基础上做,
在 $HADOOP_HOME/etc/hadoop 目 录 下 执 行 编辑core-site.xml配 置 文 件
修改 core-site.xml 的 内容如下
在 $HADOOP_HOME/etc/hadoop 目 录 下 执 行编辑 hdfs-site.xml 并 修 改 配 置 文 件 hdfs-site.xml修改内容如下
在$HADOOP_HOME/etc/hadoop 目录下查看是否有配置文件 mapred-site.xml。目录下 默 认 情 况 下 没 有 该 文 件 , 可 通 过 执 行 如 下 命 令 : cp mapred-site.xml.template mapred-site.xml备份文件并重命名,然后执行编辑文件mapred-site.xml 并修 改该文件
内容如下
在$HADOOP_HOME/etc/hadoop 目录下编辑yarn-site.xml配置文件内容如下
格式化 namenode。在任意目录下执行如下命令进行格式化:hdfs namenode -format 或者 hadoop namenode -format 。 如图 所示
启动 hadoop, 首先启动 hdfs:start-all.sh输入密码就行了
完成后输入jps
测 试 hdfs 和 yarn ( 推 荐 火 狐 浏 览 器 ), 首 先 在 浏 览 器 地 址 栏 中 输 入 :
http://192.168.125.128:50070 (HDFS 管理界面)(本 IP 为自己虚拟机上面的 IP,端口不变)
在浏览器的地址栏中输入:http://192.168.125.128:8088 (MR 管理界面)(本 IP 为自
己虚拟机上面的 IP,端口不变)。如图 所示
Hadoop伪分布式配置与测试完成
5.实验总结
Jdk的配置与HelloWorld的编写很简单,大家曾经都做过,应该不会有问题。Hadoop单机分布式配置与测试,这个配置很简单,就配置一下环境变量,可能有人在最后一步执行命令出现地址解析错误,修改一下/etc/hosts问价,将127.0.0.1指向本机主机名就行了。