基于伪分布式hadoop:配置eclipse并在eclipse上运行词频统计程序

百度网盘词频统计程序java文件
提取码:avx9;

首先下载并且安装eclipse

然后下载hadoop-eclipse-plugin插件

将插件移动到 eclipse 安装目录下的 plugins 目录下:

添加完成后,就可以进入 eclipse 目录,输入命令 ./eclipse 启动 eclipse。
eclipse 启动后,要注意工作空间的默认位置如下图, 然后点击 Launch 启动:
在这里插入图片描述
打开 eclipse 后界面如下图,选择 Window 下的 Preferences:
在这里插入图片描述
在下图中添加hadoop的安装目录/usr/local/hadoop/hadoop-3.1.2,然后Apply,Apply and Close。在这里插入图片描述
在 Window 菜单下选择 Perspective------Open Perspective-------Other:在这里插入图片描述
选择 MapReduce,然后点击 Open,如下图所示:在这里插入图片描述
此时在 eclipse 的左上角会出现如下图所示的蓝色小象,点击该小象,然后点击下图右下角 的蓝色小象:在这里插入图片描述
此时需要在下图中输入 Location name,名字随便起一个即可。然后输入 MapReduce Master 的 Host 和 Port,这个对应你在 hadoop 下的配置,伪分布模式下默认 Host 为 localhost,端 口号 Port 无需修改;DFS Master 的 Host 和 Port 与你在 hadoop 的 core-site.xml 文件里的设置 相同。然后点击 Finish 完成设置。在这里插入图片描述
///注意这里的localhost最好改成主机名或者IP地址。

在 eclipse 中创建 mapreduce 项目 点击 eclipse 左上角的 File 菜单,选择 New------Project,选择 MapReduce Project,然后点击 Next,如下图所示:在这里插入图片描述
输入 project name,点击 Next:在这里插入图片描述
然后点击 Finish 完成。 右键点击刚才创建的 mywordcount,选择 New------Class在这里插入图片描述
输入 Package:org.apache.hadoop.examples 和 Name:wordcount,然后点击 Finish。如下图所 示:在这里插入图片描述
创建完 class 后将将上面的词频统计的代码复制到 wordcount.java 文件中,然后保存。 如下图所示:在这里插入图片描述
在运行 mapreduce 之前,还需要将/usr/local/hadoop/hadoop-3.1.2/etc/hadoop/目录下的: core-site.xml,hdfs-site.xml 以及 log4j.properties 复制到 mywordcount 项目下的 src 文件中。

进入/usr/local/hadoop/hadoop-3.1.2/etc/hadoop/目录下,检查 vim core-site.xml,确保下图中 的 Host 及 Port 跟 eclipse 前面设置时对应:在这里插入图片描述

这里的localhost最好改成主机名或IP在这里插入图片描述
输入命令将这三个文件移到/root/eclipse-workspace/mywordcount/src/ 目录下:在这里插入图片描述
拷贝完成后,首先进入 hadoop 的 bin 目录下,输入./hdfs namenode -format 进行格式化, 然后进入 hadoop 的 sbin 目录,输入./start-all.sh,启动 hadoop。使用 jps 命令查看是否名称 节点及数据节点都正常启动。 再进入 eclipse 目录下,打开 eclipse。

打开 eclipse 后会在界面的左侧出现拷贝的 3 个文件。。
鼠标右键 wordcount.java,选择 Run As------Run Configurations,在弹出的界面中,双击 Java Application,在 Arguments 中输入 input 空格 output,如下图所示:在这里插入图片描述
进入终端, 进到/usr/local/hadoop/hadoop-3.1.2/bin/目录下,并创建 input 文件夹,并将 ceshi.txt 文件放 到该文件夹下如果没有会有如下错误在这里插入图片描述
这时候应该在bin中输入如下命令

./hdfs dfs -mkdir -p /user/root/input

这句话的意思是在user这个目录下(即用户目录)的root文件夹下面创建input文件夹

./hdfs dfs -put /usr/cershi1.txt /user/root/input

这句话是将目录下的ceshi1.txt文件传到input中
之后在这里插入图片描述
在这里插入图片描述

  • 1
    点赞
  • 13
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值