3347542_160503703000_2

Hadoop是我们上上学期所学过的内容，今天对Hadoop进行了一次更深入的复习。
1.Hadoop安装

关于Hadoop安装，林子雨老师的大数据处理架构Hadoop 学习指南里讲的得已经很清楚，每一步认真照做即可。

(是非常完美的一套教程，自己写的肯定不如老师的了)

2.Hadoop命令

执行Hadoop命令方式有三种

  • hadoop fs：适用于任何不同的文件系统，比如本地文件系统和HDFS 文件系统
  • hadoop dfs：只能适用于HDFS文件系统
  • hdfs dfs：同hadoop dfs
$ hdfs dfs -help [命令] # 查看某一命令的帮助：
$ hdfs dfs –mkdir –p [目录名] # 创建目录
$ hdfs dfs –ls # 列出HDFS上所有内容
$ hdfs dfs –rm –r [目录] # 递归删除目录
$ hdfs dfs -put [本地文件路径] [HDFS文件路径] # 本地文件上传至HDFS
$ hdfs dfs –cat [HDFS文件路径] # 显示HDFS中文件内容
$ hdfs dfs -get [HDFS文件路径] [本地文件路径] # 将HDFS中文件下载到本地
$ hdfs dfs -cp [源文件路径] [目标文件路径] # HDFS中文件复制
$ hdfs namenode -format # NameNode格式化
3.WordCount实例

在控制台中执行

$ cd /usr/local/hadoop
$ mkdir wcinput
$ cd wcinput
$ touch wc.input

通过以上命令，我们在hadoop文件夹中创建了一个名为wc.input的文件，然后使用vim编辑器向其中加入一些英文单词

$ vim wc.input

然后执行

$ hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.1.jar wordcount wcinput wcoutput

在wcoutput文件夹中我们得到单词数量统计文本文件part-r-00000

4.在Windows中运行MapReduce任务

见如何在Windows中使用Eclipse访问虚拟机Linux系统中的hadoop(伪分布式)

5.遇到问题：