大数据入门(七)win10上eclipse使用Hadoop的配置

12 篇文章 2 订阅


系列:
大数据入门(一)环境搭建,VMware15+CentOS8.1 配置
https://blog.csdn.net/qq_34391511/article/details/104874044
大数据入门(二)Centos8,JDK 配置
https://blog.csdn.net/qq_34391511/article/details/104893587
大数据入门(三)CentOS 网络配置
https://blog.csdn.net/qq_34391511/article/details/104895498
大数据入门(四)Hadoop 集群搭建
https://blog.csdn.net/qq_34391511/article/details/104885278
大数据入门(五)windows 上搭建单机版 Hadoop2.8(踩坑记录)
https://blog.csdn.net/qq_34391511/article/details/104948319
大数据入门(六)win10 对 Hadoop hdfs 的基本操作
https://blog.csdn.net/qq_34391511/article/details/105070955
大数据入门(八)win10 下的 wordcount
https://blog.csdn.net/qq_34391511/article/details/105073076
大数据入门(九)基于 win10 的 Hadoop,java 代码进行 hdfs 操作
https://blog.csdn.net/qq_34391511/article/details/105145380

工具

1、jdk1.8
2、hadoop2.8.3
3、hadoop-eclipse-plugin-2.8.5.jar
【获取hadoop2x-eclipse-plugin的可以参考(release文件夹下):https://github.com/DoubleBirdsU/Hadoop-eclipse-plugin

eclipse的Hadoop环境配置

1、 将hadoop-eclipse-plugin-2.8.5.jar,复制到eclipse安装目录下的plugins下。如:D:\ProgramFiles (x86)\eclipse\plugins
2、 重启Eclipse。
3、 点击菜单栏Windows —>Preferences ,如果插件安装成功,就会出现:在这里插入图片描述

如果没成功,首先查看版本是否正确。
其次可以,通过cmd到eclipse的目录下启动Eclipse:eclipse.exe -clean

4、选择,hadoop安装目录:D:\Learning\Hadoop\hadoop-2.8.5(这个是我自己的)
在这里插入图片描述
新建这个窗口只是为了可视化hdfs,操作方便,如果觉得不需要,可以跳过5这步,也可以通过网页查看hdfs:
查看集群状态:http://localhost:8088
查看Hadoop状态:http://localhost:50070/explorer.html#/
5、点击Windows —>Show View —>Others —>Map/Redure Location —>open,最下面就会出现这个:
在这里插入图片描述
点击Map/Redure Locations 窗口,空白处右键New Hadoop location :
在这里插入图片描述
这里会有报错,原因是hdfs 里面还没有input和output目录:
在这里插入图片描述
解决方法是创建input和output文件夹,下图是创建input的例子:
在这里插入图片描述
关于hdfs的基本操作可我的上一篇文章:大数据入门(六)win10对Hadoop hdfs的基本操作(传送门)

重启eclipse,没有报错:
在这里插入图片描述
那么接下来可以进行一些实验啦:
大数据入门(八)win10下的wordcount
大数据入门(九)基于win10的Hadoop,java代码进行hdfs操作

参考

关于Eclipse安装插件后没有任何反应的解决
windows10上使用Eclipse配置Hadoop开发环境详细步骤+WordCount示例
hadoop 2.8.3 eclipse 插件
Eclipse安装Hadoop插件配置Hadoop开发环境

  • 1
    点赞
  • 3
    评论
  • 0
    收藏
  • 一键三连
    一键三连
  • 扫一扫,分享海报

©️2021 CSDN 皮肤主题: 大白 设计师:CSDN官方博客 返回首页
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、C币套餐、付费专栏及课程。

余额充值