实训任务02:Hadoop基础操作.md

实训任务02:Hadoop基础操作

实训1:创建测试文件上传HDFS,并显示内容

需求说明:

在本地计算机上创建测试文件helloHadoop.txt,输入任意3行记录。将helloHadoop.txt上传到HDFS目录/user/root/filetest/下,并以HDFS命令显示
它的内容(提示:HDFS目录/user/root/filetest并不存在,因此需要先创建它。

实现思路及步骤:

  1. 用vi编辑器编写helloHadoop.txt文件。

  2. 启动hdfs

  3. 用hdfs dfs –put 命令上传文件到HDFS。

操作步骤如下(请截图)

实训2 统计文件中所有单词的平均长度

需求说明:

在集群服务器master的本地目录上有日志文件root/install.log,要求对文件中的单词进行统计,求单词的平均长度。

实现思路及步骤:

  1. 上传/root/install.log到HDFS目录/user/root/

  2. 使用Hadoop官方的示例程序包hadoop-mapreduce-eamples-2.6.4.jar,以hadoop.jar命令提交MapReduce任务。参考代码如下:

Hadoop jar \

$HADOOP_HOME/sh

  • 0
    点赞
  • 4
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值