如何在IDEA编译器中连接HDFS，运行MapReduce程序(1)

最新推荐文章于 2024-07-13 20:13:28 发布

2401_84912156

最新推荐文章于 2024-07-13 20:13:28 发布

阅读量344

点赞数 5

分类专栏：程序员文章标签： intellij-idea hdfs mapreduce

本文链接：https://blog.csdn.net/2401_84912156/article/details/138979461

版权

54 篇文章 0 订阅

订阅专栏

链接直达：https://bbs.csdn.net/topics/603957283

⭐ ⭐ ⭐ ⭐ ⭐ 点点五星⭐ ⭐ ⭐ ⭐ ⭐

我正在参加年度博客之星评选，请大家帮我投票打分，您的每一分都是对我的支持与鼓励。

贡献您几秒钟时间，点个五星，在此感激不尽！！！

各大技术基础教学、实战开发教学（最新更新时间2021-12-4）

打开IDEA编译器–>>点击File–>>选择Settings

找到Plugins，在Installed中搜索big，找到下面这个，点击下载，我这里已经下载过了

下载之后展开在左侧的Tools下的Big…里，配置如下信息

上面的hadoop01:9000是之前的core-site.xml配置里的

然后点击右上角的这里，添加新的Application

然后在你的maven项目（MapReduce）的resource下面添加三个配置文件

core-site.xml

<property>

    <!-- URI 定义主机名称和 namenode 的 RPC 服务器工作的端口号 -->

    <name>fs.defaultFS</name>

    <value>hdfs://hadoop01:9000</value>

</property>

<!--

<property> 这个可以设置为本地路径，但没有什么用，这个路径是 Hadoop 集群用的

  Hadoop 临时目录，默认是系统的临时目录下，/tmp/hadoop-${username} 下

  <name>hadoop.tmp.dir</name>

  <value>/home/xian/hadoop/cluster</value>

</property>  -->

log4j.properties（打印日志）

log4j.appender.A1.Encoding=UTF-8

log4j.rootLogger=INFO, stdout

log4j.appender.stdout=org.apache.log4j.ConsoleAppender

log4j.appender.stdout.layout=org.apache.log4j.PatternLayout

log4j.appender.stdout.layout.ConversionPattern=%d{ABSOLUTE} | %-5.5p | %-16.16t | %-32.32c{1} | %-32.32C %4L | %m%n

最后

自我介绍一下，小编13年上海交大毕业，曾经在小公司待过，也去过华为、OPPO等大厂，18年进入阿里一直到现在。

深知大多数初中级Android工程师，想要提升技能，往往是自己摸索成长，自己不成体系的自学效果低效漫长且无助。

因此我收集整理了一份《2024年Android移动开发全套学习资料》，初衷也很简单，就是希望能够帮助到想自学提升又不知道该从何学起的朋友，同时减轻大家的负担。

既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，基本涵盖了95%以上Android开发知识点！不论你是刚入门Android开发的新手，还是希望在技术上不断提升的资深开发者，这些资料都将为你打开新的学习之门

由于文件比较大，这里只是将部分目录截图出来，每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频，并且会持续更新！
你有帮助，需要这份全套学习资料的朋友可以戳我获取！！**](https://bbs.csdn.net/topics/618165277)

由于文件比较大，这里只是将部分目录截图出来，每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频，并且会持续更新！

关注