在idea中本地运行Hadoop项目需要配置的环境

最新推荐文章于 2024-05-03 12:29:43 发布
最新推荐文章于 2024-05-03 12:29:43 发布
阅读量885 收藏 2
点赞数 1
分类专栏： bug解决办法 文章标签： intellij-idea hadoop java
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/csdn_strive/article/details/128256426
版权

通常在idea运行项目的时候出现这样的报错：

HADOOP_HOME and hadoop.home.dir are unset.

解决步骤：
1、下载对应的apache-hadoop-xxx-winutils
xxx是hadoop的版本号，没对应的版本号就去找相近的版本号
2、解压（解压路径自己定）
3、配置环境变量 路径写到bin的父目录
在这里插入图片描述
4、重启idea

秋水调威士忌
关注
  • 1
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
idea 配置连接远程hadoop 插件
04-23
idea hadoop-hdfs插件,和eclipse上一样的Hadoop hdfs的插件功能一样; 原生集群端口分别为50020和9000 cdh 集群 端口分别为8020和9000 ,不用点测试直接点应用即可
IDEA下配置Hadoop Mapreduce开发环境并实现本地运行
Grey0125的博客
04-08 2515
IDEA下配置Hadoop开发环境 配置环境变量 系统环境变量添加HADOOP_HOME，指向hadoop目录的根目录，如 F:\hadoop-2.7.7 对环境变量PATH追加：%HADOOP_HOME%\bin 将变量JAVA_HOME路径中的Program file换成PROGRA~1（空格识别不了） 配置好环境变量后，需要重启软件才能生效。因此需要将IDEA关闭后重新打开，才能正确识别刚刚配置的环境变量。 导入集群配置文件 把Hadoop主机的core-site.xml、hdfs-site.
IntelliJ IDEA搭建Hadoop开发环境
热门推荐
jacker
06-10 2万+
前言        这是关于Hadoop的系列文章。 Hadoop基本概念指南 Eclipse搭建Hadoop开发环境二三事 IntelliJ IDEA搭建Hadoop开发环境 准备        事实上，我前面搭建的关于Hadoop的开发环境已经够用了。可是那始终是提交到本地的，任务在本地跑，总让人感觉怪怪的。而且还依赖着HADOOP_HOME这样的环境变量，还得选中依赖的
Win10 IDEA连接虚拟机中的Hadoop集群（进来保你成）
2201_75875170的博客
10-14 2600
至此idea连接Hadoop集群配置完成，更多的操作可以通过Hadoop提供configuration类filesystem类、FSDataInputStream类和FSDataOutputStream类实现。有问题的朋友可以留言，我会及时回复我所能解决的问题，一些我安装时遇到的问题放在后面，大家可以浏览查看。
Hadoop3.1.3+Zookeeper3.5.6+hbase2.2.2+hive3.1.2安装以及测试
weixin_43487121的博客
12-17 3784
Hadoop3.1.3+Zookeeper3.5.6+hbase2.2.2+hive3.1.2安装以及测试 1. 系统环境 1.1 软件版本，如下是所安装软件的信息 软件 版本 下载地址 系统 x86_64 GNU/Linux hadoop 3.1.3 官网 zookeeper 3.5.6 官网 hbase 2.2.2 官网 hive 3.2.1 官网 更多版...
IDEA中Hadoop的环境配置
hhhhhhhhhhhnb的博客
05-17 2319
没有配置HadoopHome： 在Windows下解压一份Hadoop安装包 Hadoop使用log4j进行日志输出，明显没有配置log4j 再次运行，显示了作业的运行情况 Hadoop环境变量配置（Windows下的可参照Linux配置，如下） 重启IDEA（或者重新启动电脑） 模拟器安装： winutils-master.zip 找到模拟器的两个文件 将这两个文件复制到如下目录中： C:\Windo...
IDEA配置Hadoop环境-非maven配置版（图文详细）
编程世界中最大的敌人就是自己，而心态才是制胜点。
10-31 5157
IDEA配置Hadoop环境-非maven配置版（图文详细）
在 IntelliJ IDEA 中使用 Hadoop
shenpkun的博客
04-21 2753
在 IntelliJ IDEA 中使用 Hadoop
【简单易懂版】使用IDEA操作Hadoop（增删改查）
GSCY
07-17 1500
在IDEA中使用JAVA代码操作Hadoop完成增删改查，上传、下载基础功能
IDEA连接Linux上的Hadoop并对HDFS进行操作
ahahayaa的博客
03-26 5399
完成这些步骤后，就能够从Windows机器上的IDE中成功连接到Linux服务器上的Hadoop并对HDFS进行操作。属性的值为Linux服务器的IP地址，例如hdfs://192.168.1.100:9000，然后。如果你没有该冲突问题, 并且该语句让你的程序运行出了问题, 你可以将其去掉。PS:我在上述文件中加入了以下关于slf4j冲突所以去除依赖的语句。相关问题, 如果按照预先安装中的四个步骤应该没有这个问题。: 将放在Linux上面的Hadoop压缩包(, 不需要担心软件的系统适配问题。
IDEA搭建本地hadoop开发环境的log4j.properties
08-21
IDEA搭建本地hadoop开发环境的log4j.properties
IDEA搭建本地hadoop开发环境，hadoop.dll资源
08-21
IDEA搭建本地hadoop开发环境，hadoop.dll资源
在windows系统中配置Hadoop2.7.5运行环境
04-04
windows系统需要配置hadoop运行环境，否则直接运行代码会出现 Could not locate executable null \bin\winutils.exe in the hadoop binaries Unable to load native-hadoop library for your platform… using ...
IDEA搭建本地hadoop开发环境，winutils.exe资源
08-21
IDEA搭建本地hadoop开发环境，winutils.exe资源
Idea运行MapperReduce本地环境配置(win10).rar
04-21
介绍不多，就是1分钟就能帮你配置完MapperReduce在win10上分析数据的jar文件环境（资源免费，记得一键三连！）
在idea中连接mysql
qq_45956730的博客
04-29 1077
在idea中连接mysql
【IDEA】IDEA常用快捷键
最新发布
weixin_44078354的博客
05-03 394
Ctrl+YCtrl+Windows 键和Ctrl + R是不一样的，不要弄混。这个感觉比较常用一些，有些时候可能需要加上Fn按键。
idea常用知识点随记
臻实
04-29 922
idea常用知识点随记
IDEA 申请学生许可证
HONEY MOOSE
04-27 867
如果你有学生账号，并且账号是 EDU 结尾的，可以申请 IDEA 的学生许可证。有效期一年，完全免费。在界面上输入邮件地址，然后单击按钮提交。
idea中运行scala类本地是不是要配置hadoop
09-06
在本地运行Scala类并不需要配置Hadoop。Scala是一种通用的编程语言，可以在本地环境中独立运行，而不依赖于Hadoop。Hadoop是一个用于处理大规模数据集的分布式计算框架，通常被用于处理大数据任务。 但是，如果您的...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值