大数据应用技术-Hadoop期末大作业
要求
1.将待分析的文件(不少于10000英文单词)上传到HDFS
2.调用MapReduce对文件中各个单词出现的次数进行统计
3.将统计结果下载本地
4.写一篇博客描述你的分析过程和分析结果
执行过程
1.我们需要先启动Hadoop,执行如下命令。启动完成后,可以通过命令jps来判断是否成功启动,若成功启动则会列出如下进程:
成功启动后,可以访问Web界面
http://locallhost:9870查看NameNode和Datanode信息,还可以在线查看HDFS中的文件
2.上传文件
3.打开eclipse进行配置,在上方找到Window-Preferences,点击HadoopMap/Reduce,填入Hadoop的安装地址/usr/local/hadoop
4.接下来找到
大数据应用技术-Hadoop
最新推荐文章于 2024-04-10 21:36:39 发布
本文详细介绍了使用Hadoop MapReduce完成大数据分析任务的过程,包括将文件上传到HDFS,编写MapReduce程序统计单词频率,下载并查看统计结果。通过Eclipse配置Hadoop环境,创建MapReduce项目,并最终实现单词计数功能。
摘要由CSDN通过智能技术生成