百度网盘词频统计程序java文件
提取码:avx9;
首先下载并且安装eclipse
然后下载hadoop-eclipse-plugin插件
将插件移动到 eclipse 安装目录下的 plugins 目录下:
添加完成后,就可以进入 eclipse 目录,输入命令 ./eclipse 启动 eclipse。
eclipse 启动后,要注意工作空间的默认位置如下图, 然后点击 Launch 启动:
打开 eclipse 后界面如下图,选择 Window 下的 Preferences:
在下图中添加hadoop的安装目录/usr/local/hadoop/hadoop-3.1.2,然后Apply,Apply and Close。
在 Window 菜单下选择 Perspective------Open Perspective-------Other:
选择 MapReduce,然后点击 Open,如下图所示:
此时在 eclipse 的左上角会出现如下图所示的蓝色小象,点击该小象,然后点击下图右下角 的蓝色小象:
此时需要在下图中输入 Location name,名字随便起一个即可。然后输入 MapReduce Master 的 Host 和 Port,这个对应你在 hadoop 下的配置,伪分布模式下默认 Host 为 localhost,端 口号 Port 无需修改;DFS Master 的 Host 和 Port 与你在 hadoop 的 core-site.xml 文件里的设置 相同。然后点击 Finish 完成设置。
///注意这里的localhost最好改成主机名或者IP地址。
在 eclipse 中创建 mapreduce 项目 点击 eclipse 左上角的 File 菜单,选择 New------Project,选择 MapReduce Project,然后点击 Next,如下图所示:
输入 project name,点击 Next:
然后点击 Finish 完成。 右键点击刚才创建的 mywordcount,选择 New------Class
输入 Package:org.apache.hadoop.examples 和 Name:wordcount,然后点击 Finish。如下图所 示:
创建完 class 后将将上面的词频统计的代码复制到 wordcount.java 文件中,然后保存。 如下图所示:
在运行 mapreduce 之前,还需要将/usr/local/hadoop/hadoop-3.1.2/etc/hadoop/目录下的: core-site.xml,hdfs-site.xml 以及 log4j.properties 复制到 mywordcount 项目下的 src 文件中。
进入/usr/local/hadoop/hadoop-3.1.2/etc/hadoop/目录下,检查 vim core-site.xml,确保下图中 的 Host 及 Port 跟 eclipse 前面设置时对应:
这里的localhost最好改成主机名或IP
输入命令将这三个文件移到/root/eclipse-workspace/mywordcount/src/ 目录下:
拷贝完成后,首先进入 hadoop 的 bin 目录下,输入./hdfs namenode -format 进行格式化, 然后进入 hadoop 的 sbin 目录,输入./start-all.sh,启动 hadoop。使用 jps 命令查看是否名称 节点及数据节点都正常启动。 再进入 eclipse 目录下,打开 eclipse。
打开 eclipse 后会在界面的左侧出现拷贝的 3 个文件。。
鼠标右键 wordcount.java,选择 Run As------Run Configurations,在弹出的界面中,双击 Java Application,在 Arguments 中输入 input 空格 output,如下图所示:
进入终端, 进到/usr/local/hadoop/hadoop-3.1.2/bin/目录下,并创建 input 文件夹,并将 ceshi.txt 文件放 到该文件夹下如果没有会有如下错误
这时候应该在bin中输入如下命令
./hdfs dfs -mkdir -p /user/root/input
这句话的意思是在user这个目录下(即用户目录)的root文件夹下面创建input文件夹
./hdfs dfs -put /usr/cershi1.txt /user/root/input
这句话是将目录下的ceshi1.txt文件传到input中
之后