intellij idea本地配置连接远程hadoop集群开发

最新推荐文章于 2024-07-21 22:56:09 发布

a_bang

最新推荐文章于 2024-07-21 22:56:09 发布

阅读量1.9w

点赞数 8

分类专栏： Hadoop IDEA 文章标签： hadoop intellij ides 远程连接本地 Spark

本文链接：https://blog.csdn.net/a_bang/article/details/83820022

版权

自己研究大数据一年多了，虽然技术上有很多提高，但是有个问题就是一直没法使用本地联调集群，每次都是写完打包放到集群执行。最近发现可以本地直接连接远程联调，大大提高了开发效率，分享一下。

1、下载hadoop，配置到本地环境变量中，路径中最好不要有空格或下划线
环境变量：
Snipaste_2018-11-07_09-59-20.png-26.4kB

2、修改项目的pom.xml

<dependency>
    <groupId>org.apache.hadoop</groupId>
    <artifactId>hadoop-common</artifactId>
    <version>${hadoop.version}</version>
</dependency>

<dependency>
    <groupId>org.apache.hadoop</groupId>
    <artifactId>hadoop-hdfs</artifactId>
    <version>${hadoop.version}</version>
</dependency>

<dependency>
    <groupId>org.apache.hadoop</groupId>
    <artifactId>hadoop-mapreduce-client-core</artifactId>
    <version>${hadoop.version}</version>
</dependency&