调用MapReduce对文件中各个单词出现次数进行统计
实验配置:系统:Ubuntu Kylin | 环境:Hadoop | 软件:Eclipse
要求
1.将待分析的文件(不少于10000英文单词)上传到HDFS
2.调用MapReduce对文件中各个单词出现的次数进行统计
3.将统计结果下载本地。
操作步骤:调用MapReduce执行WordCount对单词进行计数**
一:
• 1. 在Eclipse中创建项目
• 2. 为项目添加需要用到的JAR包
• 3. 编写Java应用程序
• 4. 编译运行程序
• 5. 应用程序部署
二:
• 1. 在Eclipse中创建项目
• 2. 为项目添加需要用到的JAR包
• 3. 编写Java应用程序
• 4. 编译打包程序
• 5. 运行程序
(一):
1.打开Eclipse,通过打开终端输入相关命令打开Eclipse,然后需要填写workspace(工作空间),用来保存程序所在的位置,这里按照默认,无需改动,无脑下一步,如下图,点击“OK”按钮,进入Eclipse软件。
2.选择“File->New->Java Project”菜单,开始创建一个Java工程,选择系统安装的jdk开发工具,如下图所示
(二):
1.进行下一步设置,如下图
2.点击界面中的“Libraries”选项,然后,点击界面右侧的“Add External JARs…”,如下图
3.进入到common目录,然后,界面会显示出common目录下的所有内容,用鼠标点击选中hadoop-common-2.7.1.jar和haoop-nfs-2.7.1.jar,然后点击界面右下角的“确定”按钮,就可以把这两个JAR包增加到当前Java工程中,如下图