IDEA配置Hadoop环境-非maven配置版(图文详细)

1.下载所需要的包

1.1 下载hadoop包
官网地址:https://hadoop.apache.org/releases.html(官网一般都是最新的咯)
说明:版本不要下载太高的,可以下载2.6.1到3.2.2的版本,有就不下了。

1.2 下载hadoop.dll和winutils.exe
GitHub地址:https://gitcode.net/mirrors/cdarlint/winutils/-/tree/master
说明:对应着你的hadoop版本下载,实在对不上就凑合着用前一个版本的。我是hadoop-3.2.4搭配3.2.2,目前没发现问题(本人浅涉这方面)。
 

2. 安装下载的包

步骤①说明:右击解压hadoop-3.2.4.tar.gz;
步骤②说明:把hadoop-3.2.2里面的hadoop.dllwinutils.exe复制,然后粘贴到hadoop-3.2.4文件夹中的bin文件夹里。完成下一步。
在这里插入图片描述
 

3. 配置hadoop环境变量

3.1 新建【HADOOP_HOME】环境变量,完成下一步。
步骤③说明:你的hadoop的解压位置。
在这里插入图片描述

3.2 编辑【path】系统变量,完成下一步。
步骤①说明双击红色框里面的内容,或者选中内容再点击编辑
注:修改完,记得确定。
在这里插入图片描述
 

4. IDEA添加hadoop包

4.1 打开Project Structure选文件,完成下一步。
快捷键:Ctrl+Shift+Alt+S
在这里插入图片描述

4.2 添加文件,这里全部添加(参考下面4.3步骤图),完成下一步。
注:可以自行选择部分包添加。
黄色框说明:选择打开过的文件路径。
在这里插入图片描述

4.3 后点击应用,完成下一步。
在这里插入图片描述
 

5. 写操作配置

5.1 打开Edit Configurations,完成下一步。
在这里插入图片描述

5.2 第一步配置,完成下一步。
在这里插入图片描述

5.3 第二步配置,完成之后保存即可。
到这里所有的配置均已完成,可以🐎代码了在这里插入图片描述
 

6. 常见问题

6.1 添包之后,包还是红色问题

解决方法:如果对应的包已经添加,去查看代码是否书写正确。如果不知道是否添加,将包全部添加即可。
 

6.2 写操作导致的Permission denied问题

问题如下:
在这里插入图片描述
解决方法:见【4.写操作配置】,配置一下。

配置Hadoop运行环境,您可以按照以下步骤进行操作: 1. 下载Hadoop:首先,您需要从Hadoop的官方网站上下载Hadoop的最新本。您可以选择下载一个预编译好的二进制文件,或者自己编译源代码。 2. 配置Hadoop环境变量:一旦您下载完Hadoop,将Hadoop的安装路径添加到系统的环境变量中。这样,您就可以在任何位置使用Hadoop命令。 3. 编辑Hadoop配置文件:在Hadoop的安装目录中,有一个名为`etc/hadoop`的文件夹,其中包含了Hadoop配置文件。您可以根据您的需求编辑这些配置文件。其中一些重要的配置文件包括: - `core-site.xml`:用于配置Hadoop的核心参数,如默认文件系统和Hadoop的工作目录。 - `hdfs-site.xml`:用于配置HDFS(Hadoop分布式文件系统)的相关参数,如副本数量和数据块大小。 - `mapred-site.xml`:用于配置MapReduce的相关参数,如作业跟踪器和任务跟踪器。 - `yarn-site.xml`:用于配置YARN(Yet Another Resource Negotiator)的相关参数,如节点管理器和资源调度器。 4. 配置Hadoop的日志和数据目录:在Hadoop配置文件中,您可以指定Hadoop的日志和数据目录。确保您在配置文件中指定的目录存在并且可写。 5. 启动Hadoop集群:一旦您完成了Hadoop配置,通过执行`start-all.sh`或`start-dfs.sh`和`start-yarn.sh`脚本来启动Hadoop集群。这些脚本将自动启动Hadoop的各个组件,如NameNode、DataNode、ResourceManager和NodeManager。 请注意,在配置Hadoop运行环境时,您可以参考上述步骤,根据您实际的需求进行适当的修改和调整。另外,确保您已经具备安装和配置Hadoop的基本知识,并且了解Hadoop的各个组件和功能。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

天鹅打架了

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值