实训任务02:Hadoop基础操作
实训1:创建测试文件上传HDFS,并显示内容
需求说明:
在本地计算机上创建测试文件helloHadoop.txt,输入任意3行记录。将helloHadoop.txt上传到HDFS目录/user/root/filetest/下,并以HDFS命令显示
它的内容(提示:HDFS目录/user/root/filetest并不存在,因此需要先创建它。
实现思路及步骤:
-
用vi编辑器编写helloHadoop.txt文件。
-
启动hdfs
-
用hdfs dfs –put 命令上传文件到HDFS。
操作步骤如下(请截图)
实训2 统计文件中所有单词的平均长度
需求说明:
在集群服务器master的本地目录上有日志文件root/install.log,要求对文件中的单词进行统计,求单词的平均长度。
实现思路及步骤:
-
上传/root/install.log到HDFS目录/user/root/
-
使用Hadoop官方的示例程序包hadoop-mapreduce-eamples-2.6.4.jar,以hadoop.jar命令提交MapReduce任务。参考代码如下:
Hadoop jar \
$HADOOP_HOME/sh