大数据分析学习第三课 Hadoop集群使用HDFS和MapReduce

上节我们已经成功配置并启动了hadoop集群，1台namenode节点，2台datanode节点，接下来我们就利用hadoop大杀器，使用HDFS和Mapreduce

1、测试HDFS的功能

我们先上传一个文件到HDFS，先查看software目录

里面有我们之前配置java的jdk包，我们就上传这个文件，输入hadoop可以查看帮助信息，看到有fs

我们再输入hadoop fs，可以看到有很多命令可用，其中我们很关注的便是上传和下载功能，即下图中的-get和-put命令

HDFS的上传就是把文件从本地文件系统（Linux文件系统）上传到HDFS文件系统，我们用命令：

hadoop fs -put /software/jdk-8u181-linux-x64.tar.gz hdfs://master105:9000/jdk8

这条命令的意思是从software目录下把jdk文件上传到HDFS系统的根目录下并给文件重命名为jdk8。上传完之后我们便可以到HDFS文件系统进行查看是否刚才上传的文件上传成功了，我们刷新一下：http://master105:50070/explorer.html#/ 这个网址，便可以看到我们刚才上传的文件确实已经在HDFS系统当中了

 既然可以上传，当然也可以下载，我们怎么下载呢，第一种方法是我们点击上图中Name这一列中jdk8的链接，会进入到如下图所示的页面，我们点击下面红色框中的“Download”链接，就会弹出下载提示框，我们下载即可。

第二种下载方法便是用命令的方式，跟put类似，如下图所示，用命令：hadoop fs -get hdfs://master105:9000/jdk8 /jdk1.8，这条命令的意思是从hdfs文件系统的根目录下将jdk8文件下载到本地 / 文件夹下并且将名字命名为jdk1.8。我们再查看ls，已经发现jdk1.8这个文件了

我们执行解压 tar -zxvf jdk1.8,发现可以解压成功

2、测试MR和YARN

我们使用Hadoop官方提供的事例程序进行测试，

hadoop dfs -mkdir /test #创建test目录

hadoop dfs -ls /      #查看根目录

我们建一个测试文件words，执行touch words，然后 vi words  输入几个单词

执行 hadoop dfs -put words /test #将创建好的words文件上传到hdfs文件系统中的test目录下，刷新下列表，发现已经上传成功，这里Replication为3，表示副本数是3，我们有3台服务器做集群，BlockSize表示块大小是128M，块大小在Hadoop1.x版本中默认是64M，在Hadoop2.x版本中默认是128M，因为我上节配置是默认的，所以这里就是128M。

我们可以查看下刚才上传的jdk文件，这个文件超过了128M，所以被分成了2个块

 

接下来我们利用hadoop2.7.3的示例，运行mapreduce

执行：hadoop jar /software/hadoop-2.7.3/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.3.jar wordcount /test/words /test/output
我们输出结果到 /test/output，看下图我们看到job已经执行成功，

我们打开http://master105:18088/cluster/apps/FINISHED，也可以看到执行情况，FinalStatus是SUCCEEDED

我们再刷新下我们刚才设置的test目录 http://master105:50070/explorer.html#/test/，这里已经生成output目录

我们点击output目录，里面有2个文件，其中_SUCCESS表示执行成功，part-r-00000是我们这次MR计算的执行结果文件

我们点击part-r-00000，把它下载下来，用记事本打开，可以看到计算结果

以上的操作我们没有遇到问题，如果在操作中我们出现了问题，我们可以通过查看logs文件，logs文件所在的目录是在hadoop-2.7.3下logs

执行查看日志 more hadoop-root-namenode-master105.log

到此我们已经使用了hadoop的HDFS文件系统，也使用了MR计算

总结
        感谢能看到这里的朋友😉

        本次的分享就到这里，猫头鹰数据致力于为大家分享技术干货😎

        如果以上过程中出现了任何的纰漏错误，烦请大佬们指正😅

        受益的朋友或对技术感兴趣的伙伴记得点赞关注支持一波🙏

        也可以搜索关注我的微信公众号【猫头鹰数据分析】，留言交流🙏