MapReduce 集群程序之Yarn运行
1. 准备环境
- Idea,请使用正版。破解版亲测确实会有一些奇怪的bug
![在这里插入图片描述](https://i-blog.csdnimg.cn/blog_migrate/96ba48f0ad3acddf82af9122bb71d52b.png#pic_center)
- 创建maven项目
pom.xml文件中,把相关依赖jar包信息写上。
这里是Hadoop 3.2.1版本,不是官方最新,但相对稳定。
注意,maven虽然可以自己进行依赖jar包管理,但如果引入的多个jar包本身版本之间不兼容,也是会出问题的。
<build>
<plugins>
<plugin>
<groupId>org.apache.maven.plugins</groupId>
<artifactId>maven-compiler-plugin</artifactId>
<configuration>
<source>8</source>
<target>8</target>
</configuration>
</plugin>
</plugins>
</build>
<dependencies>
<dependency>
<groupId>org.apache.hadoop</groupId>
<artifactId>hadoop-common</artifactId>
<version>3.2.1</version>
</dependency>
<dependency>
<groupId>org.apache.hadoop</groupId>
<artifactId>hadoop-hdfs</artifactId>
<version>3.2.1</version>
</dependency>
<dependency>
<groupId>org.apache.hadoop</groupId>
<artifactId>hadoop-mapreduce-client-core</artifactId>
<version>3.2.1</version>
</dependency>
<dependency>
<groupId>org.apache.hadoop</groupId>
<artifactId>hadoop-mapreduce-client-common</artifactId