window使用IDEA编译hadoop的环境配置(附赠免费windows版hadoop/bin大部分版本)

代码运行教程:https://blog.csdn.net/qq_40343117/article/details/100363101

1、环境变量

首先右键我的电选择属性,打开高级系统设置
在这里插入图片描述打开找到环境变量,在右边的系统变量中新建JAVA_HOME 和 HADOOP_HOME 如下,就名字是这个,内容是你解压后的java和hadoop 的文件夹路径。
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

再找到Path,在里面添加设置好的java_home和hadoop_home

(下图第一个是我们用绝对路径指定的,第二个是java_home指定的,因为path的内容很多,虽然两种方法都可以,不过不推荐第一种,因为你设置好了java_home之后,更新java版本只要更新java_home就可以了,他只对应这么一个参数,而第一种你要自己再找到,一旦改错了,你的环境可能就出错了,甚至有些系统功能都无法使用了。)

在这里插入图片描述
在这里插入图片描述

2、配置IDEA
2.1 导入jar包

1、更新jar包

这一步看大家个人情况,由于我解压的都是我在载安装在虚拟机的liuix版本的hadoop,所以解压完成之后需要去王宏说那个找到对应的windoes版本的lib文件夹,复制进去
在这里插入图片描述在这里插入图片描述注意可能会有一样的文件出现,这时我们选择不要复制,意思就是吧windows版bin有的复制进来,但已经存在的不要更改版本,因为我找到的几个里没有完美符合我的版本的,我不同版本的,到现在暂时没什么问题。

windows版bin下载地址:https://pan.baidu.com/s/1tk8eYCTp1tvwclS1k4zENg

提取码:r5ec

2.新建项目

选择file——newproject
在这里插入图片描述

选择MAVEN,右边选择你java的路径,点击new找到你的java_home路径就可以
(下面是我之前配置过的,为了演示我就不用了,我们重新配置)
在这里插入图片描述填写自己想起的名字就行
在这里插入图片描述上一步填好了这一步默认就可以,然后点击finsh
(当然没有讲过项目的不推荐把项目建在C盘桌面,虽然很好找,但是我们要是一直会更新学习内容的话,这个项目也会越来越大,当C盘快满了,就会导致电脑性能低下)
在这里插入图片描述3.借助maven导入jar包

我们建好项目会看到相比平常的java项目这里多了pom.xml文件,我们双击打开
在这里插入图片描述
打开之后我们输入如下信息进行jar包的下载

注意这里的hadoop版本一定更换成自己电脑配置好的版本
    <build>
        <plugins>
            <plugin>
                <groupId>org.apache.maven.plugins</groupId>
                <artifactId>maven-compiler-plugin</artifactId>
                <configuration>
                    <source>6</source>
                    <target>6</target>
                </configuration>
            </plugin>
        </plugins>
    </build>
    <packaging>jar</packaging>
    <name>MapRed</name>
    <url>http://maven.apache.org</url>
    <dependencies>
        <dependency>
            <groupId>junit</groupId>
            <artifactId>junit</artifactId>
            <version>3.8.1</version>
            <scope>test</scope>
        </dependency>
        <dependency>
            <groupId>junit</groupId>
            <artifactId>junit</artifactId>
            <version>4.12</version>
            <scope>compile</scope>
        </dependency>
        <dependency>
            <groupId>org.apache.hadoop</groupId>
            <artifactId>hadoop-common</artifactId>
            <version>2.7.7</version>
        </dependency>
        <dependency>
            <groupId>org.apache.hadoop</groupId>
            <artifactId>hadoop-hdfs</artifactId>
            <version>2.7.7</version>
        </dependency>
        <dependency>
            <groupId>org.apache.hadoop</groupId>
            <artifactId>hadoop-client</artifactId>
            <version>2.7.7</version>
        </dependency>
    </dependencies>
</project>
注:build上面的用自己的就行

在这里插入图片描述在这里插入图片描述复制完成后右下方会出现下图,我是配置过了所以选import changes,没配过的直接下载就可以了,然后就会出现读条,下完了就行。
在这里插入图片描述

4.导入配置文件

进入虚拟机的hadoop文件夹,找到core-site/hdfs-site,放到项目src——resource下面
(hbse是我自己需要的,mapreduce没必要放进去)
在这里插入图片描述

3、完成配置

配置完成,我们尝试编写一个wordcount,首先可以检测的一点就是你在idea中输入我们如下的代码会有提示,类是apche.hadoop…什么的,这就成功一半了。

  • 1
    点赞
  • 4
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
要配置Hadoop运行环境,您可以按照以下步骤进行操作: 1. 下载Hadoop:首先,您需要从Hadoop的官方网站上下载Hadoop的最新版本。您可以选择下载一个预编译好的二进制文件,或者自己编译源代码。 2. 配置Hadoop环境变量:一旦您下载完Hadoop,将Hadoop的安装路径添加到系统的环境变量中。这样,您就可以在任何位置使用Hadoop命令。 3. 编辑Hadoop配置文件:在Hadoop的安装目录中,有一个名为`etc/hadoop`的文件夹,其中包含了Hadoop的配置文件。您可以根据您的需求编辑这些配置文件。其中一些重要的配置文件包括: - `core-site.xml`:用于配置Hadoop的核心参数,如默认文件系统和Hadoop的工作目录。 - `hdfs-site.xml`:用于配置HDFS(Hadoop分布式文件系统)的相关参数,如副本数量和数据块大小。 - `mapred-site.xml`:用于配置MapReduce的相关参数,如作业跟踪器和任务跟踪器。 - `yarn-site.xml`:用于配置YARN(Yet Another Resource Negotiator)的相关参数,如节点管理器和资源调度器。 4. 配置Hadoop的日志和数据目录:在Hadoop的配置文件中,您可以指定Hadoop的日志和数据目录。确保您在配置文件中指定的目录存在并且可写。 5. 启动Hadoop集群:一旦您完成了Hadoop的配置,通过执行`start-all.sh`或`start-dfs.sh`和`start-yarn.sh`脚本来启动Hadoop集群。这些脚本将自动启动Hadoop的各个组件,如NameNode、DataNode、ResourceManager和NodeManager。 请注意,在配置Hadoop运行环境时,您可以参考上述步骤,根据您实际的需求进行适当的修改和调整。另外,确保您已经具备安装和配置Hadoop的基本知识,并且了解Hadoop的各个组件和功能。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值