IntelliJ IDEA搭建Hadoop开发环境（上）

最新推荐文章于 2024-06-15 16:13:44 发布
最新推荐文章于 2024-06-15 16:13:44 发布
阅读量8k 收藏 34
点赞数 4
文章标签： maven hadoop intellij idea
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_43311978/article/details/105558773
版权

Eclipse 配置 Hadoop 开发环境可以参考我的这篇文章Eclipse配置Hadoop开发环境，idea 配置 hadoop 开发环境的搭建分成两部分，安装 Hadoop 插件和配置 Hadoop 开发环境 ，原本我的 idea 版本是2019.2.4，但是在编译生成 HadoopIntellijPlugin 插件的时候会出现错误，因此又下载了2018版本的 idea ，才能正常编译生成插件（其他版本还没试过）
idea 官网：https://www.jetbrains.com/idea/download/other.html

1、下载HadoopIntellijPlugin

github链接：
https://github.com/fangyuzhong2016/HadoopIntellijPlugin
下载完成后解压
在这里插入图片描述

2、修改pom.xml文件

用记事本打开 pom.xml，将版本号改成你自己的 hadoop 版本号，路径改成你 idea 的安装路径

最低0.47元/天 解锁文章
Captain.Y.
关注
  • 4
    点赞
  • 踩
  • 34
    收藏
    觉得还不错? 一键收藏
  • 4
    评论
IDEA中Hadoop的环境配置
hhhhhhhhhhhnb的博客
05-17 2399
没有配置HadoopHome： 在Windows下解压一份Hadoop安装包 Hadoop使用log4j进行日志输出，明显没有配置log4j 再次运行，显示了作业的运行情况 Hadoop环境变量配置（Windows下的可参照Linux配置，如下） 重启IDEA（或者重新启动电脑） 模拟器安装： winutils-master.zip 找到模拟器的两个文件 将这两个文件复制到如下目录中： C:\Windo...
Hadoop入门系列（二）idea配置hadoop开发环境
_DrZ_的博客
05-05 2万+
主要分两部分:一、idea配置hadoop开发环境。二、idea安装hadoop插件。一、1.为了便于各个版本的hadoop获得对应jar包以及其依赖jar包。搭建maven项目是个很好的选择。创建一个无原型的maven项目。2.在porn.xml的project内添加镜像网站和一些需要依赖的核心jar包。注意：版本号对应自己hadoop的版本号。有些通用包比如hadoop-core，在maven...
IDEA从0到1搭建本地hadoop开发环境
08-21
IDEA从0到1搭建本地hadoop开发环境
Intellij IDEA 创建Hadoop开发工程
DeaSun
03-10 1万+
1. 将Centos 上搭建好的 Hadoop配置环境，打包传到 Windows 目录D:\tools\hadoop 2. 下载 Hadoop 在 Window 上的相关库文件，并将相关文件复制到D:\tools\hadoop-2.5.0\bin 如下图，将hadoop.dll和winutile.exe放到hadoop的bin文件夹里.zip 放在 hadoop.xx/bin ...
Hadoop一课一得
tzm_1的博客
06-15 873
本文详细介绍了Hadoop课程的内容和学习路径，希望能够帮助读者更好地理解和应用这一强大的大数据处理工具。
IDEA 配置Hadoop 环境
Source_00的博客
10-13 2840
1 下载Intellij idea 1.1 windows 下安装Maven https://www-eu.apache.org/dist/maven/maven-3/3.3.9/binaries/ 下载并解压到目录：D:\apache-maven-3.3.9 配置环境变量 添加MAVEN_HOME 在path中加入路径： 测试： 新建一个文件夹作为仓库D:\MavenRepositor...
IDEA中配置hadoop开发环境
热门推荐
chaoping315的专栏
12-26 2万+
IDEA中整合hadoop开发环境 前言： hadoop程序运行在分布式环境下，运行调试MapReduce只需要对应的hadoop相应的依赖jar包就可以，下面以是在伪分布模式下hadoop程序的开发与调试IDEA环境的配置 环境： 操作系统:Ubuntu 16 hadoop: hadoop-3.0.0-alpha2 java: java 1.8 IDEA:idea-
IDEA配置Hadoop环境-非maven配置版（图文详细）
编程世界中最大的敌人就是自己，而心态才是制胜点。
10-31 5400
IDEA配置Hadoop环境-非maven配置版（图文详细）
IDEA搭建本地hadoop开发环境，hadoop.dll资源
08-21
IDEA搭建本地hadoop开发环境，hadoop.dll资源
IDEA搭建本地hadoop开发环境，winutils.exe资源
08-21
IDEA搭建本地hadoop开发环境，winutils.exe资源
Windows下搭建Hadoop开发环境
04-01
在Windows环境下搭建Hadoop开发环境是一项复杂而重要的任务，它涉及到多个步骤和组件的配置。Hadoop是一个开源的分布式计算框架，由Apache基金会维护，主要用于处理和存储大规模数据集。以下是一些关键知识点： 1. ...
Hadoop +API之idea+maven搭建HDFS开发环境
01-07
1、首先你要有一个开发工具idea 2、你要有一个集群–hadoop集群，集群都没有你要使用什么来进行开发呢？或者说你要开发了哪里去呢？对吧 环境搭建—本地环境配置 环境搭建–集群环境搭建 3、集群以及本地开发环境的jdk版本要保持一致 4、maven 4.1添加maven的pom依赖 https://mvnrepositi.com 搜索hadoop—选择对应版本—-就有maven的pom依赖，根据需求搜索其他的对应开发包进行相应的pom依赖添加 这里需要添加hadoop以及hdfs的相应依赖 4.2 修改maven库位置 file-setting–maven 5、创建文件夹resourc
win hadoop 开发文件
03-25
在Windows 10环境下，使用IntelliJ IDEA搭建Hadoop开发环境是一项常见的任务，尤其对于初学者和开发者来说，理解并实践这一过程至关重要。Hadoop是Apache软件基金会的一个开源项目，它提供了一个分布式文件系统...
IDEA搭建hadoop开发环境
Sven119的博客
05-21 4623
准备工作： 1、在官网下载hadoop包 https://hadoop.apache.org/releases.html 2、有两个包，hadoop-2.8.4.tar.gz 是hadoop安装包 ； hadoop-2.8.4-src.tar.gz 主要是开发环境需要的lib的jar包。 3、需要安装JDK，并配置环境变量。 配置的时候，需要注意，安装时候有jd...
在idea中搭建hadoop运行环境
qq_43742526的博客
07-25 4967
今天我将为大家讲解一下如何使用idea搭建Hadoop运行环境，它一共有一下几个步骤： （1）、下载hadoop jar包 根据自己电脑的操作系统到官网下载hadoop jar包到非中文路径（例如：D:\Develop\hadoop-2.7.2） （2）、配置HADOOP_HOME环境变量 （3）、配置Path环境变量 4．创建一个Maven工程HadoopDemo 5．在pom文件中导入相应的依赖坐标+日志添加 <dependencies> <dependency
IDEA中Hadoop环境的配置及其相关问题
qq_48913319的博客
01-26 5713
idea中配置Hadoop环境 HADOOP_HOME不存在 缺少hadoop.dll和winutils.exe Exception during driver request: java.util.concurrent.TimeoutException: Timeout(5000) during refreshing connection on HDFS Path hdfs:// :9000/ is not accessible or does not exist
在idea中本地运行Hadoop项目需要配置的环境
csdn_strive的博客
12-09 948
在idea运行hadoop项目需要的环境
Windows：IDEA配置Maven、Hadoop详细教程
qq_42185397的博客
03-25 3907
1.配置Maven 1）打开IDEA：File–>Settings, *注意Settings.xml文件配置： 仓库地址：python<localRepository>D:\software\repository</localRepository> 阿里云镜像： <mirror> <id>alimaven</id> <name>aliyun maven</name> <url
Hadoop学习之idea开发wordcount实例
yangmingtia的博客
11-13 3330
在使用idea开发wordcount实例中，首先构建一个maven工程，需要引入的依赖有： &lt;repositories&gt; &lt;repository&gt; &lt;id&gt;apache&lt;/id&gt; &lt;url&gt;http://maven.apache.org&lt;/url&gt; &lt;/reposito...
Linuxhadoop开发环境准备
最新发布
07-04
在Linux上搭建Hadoop开发环境通常是为了运行和开发Apache Hadoop项目，这是一个用于处理大规模数据集的分布式计算框架。以下是准备步骤： 1. **选择Linux发行版**：Hadoop主要支持基于Unix或Linux的操作系统，Ubuntu、CentOS和Debian等都是不错的选择。 2. **安装Java**：Hadoop需要Java Development Kit (JDK)作为其运行基础，因为许多核心组件是用Java编写的。可以通过包管理器（如apt-get或yum）安装最新版本的Java。 ```bash # Ubuntu/Debian sudo apt-get update && sudo apt-get install default-jdk # CentOS/RHEL sudo yum install java-1.8.0-openjdk-devel ``` 3. **下载并配置Hadoop**：从Hadoop官网下载适合当前系统的二进制包（Hadoop 2.x为HDP, Hadoop 3.x及以上为CDH）。解压后，配置环境变量并设置必要的配置文件，比如`core-site.xml`, `hdfs-site.xml`, `yarn-site.xml`等。 4. **启动Hadoop服务**：创建HDFS和YARN守护进程，可以通过命令行工具如`start-dfs.sh`和`start-yarn.sh`来进行。 ```bash start-all.sh # 同时启动HDFS和YARN ``` 5. **验证安装**：检查各个节点的服务是否正常运行，可以通过浏览器访问Hadoop的Web UI（默认端口是8088），查看HDFS和YARN的状态。 6. **IDE集成**：推荐使用IntelliJ IDEA、Eclipse或SPARK-Shell等工具，配置SSH免密登录到Hadoop集群，以便更方便地编写和测试MapReduce作业。
评论 4
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值