Windows的IDEA上运行MapReduce

最新推荐文章于 2024-01-08 17:41:09 发布
最新推荐文章于 2024-01-08 17:41:09 发布
阅读量951 收藏 2
点赞数
分类专栏： MapReduce 文章标签： 大数据 mapreduce hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_51691291/article/details/121455802
版权

1、解压Hadoop包

将下载好的hadoop-2.7.6.tar.gz包解压到任意目录，我的是D盘

在这里插入图片描述

2、下载编译好的hadoop/bin

地址：编译好的hadoop/bin

将下载的winutils-master.rar解压，选择自己的版本
将bin目录下的hadoop.dll文件复制到C:\Windows\System32目录下

在这里插入图片描述

在这里插入图片描述

将下载的编译好的hadoop的bin目录①复制到解压hadoop-2.7.6.tar.gz的目录下替换bin②

在这里插入图片描述
在这里插入图片描述

3、配置环境变量

添加HADOOP_HOME

在这里插入图片描述

添加Path

在这里插入图片描述
至此，直接在IDEA中运行MapReduce程序即可

清梦清河
关注
  • 0
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
如何在IDEA编译器中连接HDFS，运行MapReduce程序(1)
FZBH_Q的博客
04-20 618
总而言之，成功是留给准备好的人的。无论是参加什么面试，都要做好充足的准备，注意好面试的礼仪和穿着，向面试官表现出自己的热忱与真诚就好。即使最后没有过关，也要做好经验的总结，为下一次面试做好充足准备。这里我为大家准备了一些我在面试后整理的面试专题资料，除了面试题，还总结出了互联网公司Android程序员面试涉及到的绝大部分面试题及答案，并整理做成了文档，以及系统的进阶学习视频资料分享给大家，希望能帮助到你面试前的复习，且找到一个好的工作，也节省大家在网上搜索资料的时间来学习。
windows下IDEA本地运行MapReduce
qq_40727267的博客
09-01 699
github下载对应版本的hadoop.dll 和 winutils.exe 下载地址 配置环境变量 步骤1下载的东西放到这个目录里面， 在Path中添加如下 IDEA创建Maven项目 pom文件 <properties> <project.build.sourceEncoding>UTF-8</project.build.sourceEncodin...
IDEA 执行Mapreduce 程序
Axel_Fran的博客
12-07 2461
以下提到三种方式 方式1： 首先在windows 的IDEA写好代码，代码中不指出 在哪运行，就是本地运行。即在windows 运行环境。此时需要满足以下条件： -- 下载hadoop 安装包，解压。 -- 百度 “hadoop winutils”. 找到这个这个资源。选择对应hadoop版本号。然后应该会是一个 bin 文件夹，其中就包含了winutils.exe。将这个 文件夹复制到 先前解压的hadoop 安装包中，替换掉安装包中的 bin 文件夹。 -- 最后在这个bin文件夹中找到 had
使用IDEA进行Hadoop MapReduce编程（Windows 10）
NoNoEscape的博客
09-18 469
Hadoop MapReduce 的编程过程中如果不使用 IDE 的断点调试，则会变得异常困难。此教程介绍了如何在 Windows 10 中配置一个 伪分布式的 hadoop 应用，并在 IDEA 中运行Hadoop MapReduce。经过此文配置的项目也可以直接使用 IDEA 进行断点调试 原文链接 ...
MapReduce程序在Idea中的开发与调试
一半的博客
04-12 2003
一、环境说明 系统：Win10 Hadoop版本：2.10.1 JDK：1.8 二、环境准备 1、下载hadoop 下载链接hadoop 2.10.1。下载后用解压到本地。 2、下载winutils 下载链接winutils，下载完成后解压到本地，然后复制hadoop对应版本或就近版本的文件夹中的hadoop.dll与winutils.exe文件到hadoop的bin目录中去。 3、配置环境变量 新建环境变量HADOOP_HOME，值为hadoop文件夹的位置 添加变量到PATH 4、最好需要重启
Windows下实现Hadoop MapReduce分布式计算框架
最新发布
qq_37755540的博客
01-08 666
Windows下实现Hadoop MapReduce分布式计算框架详细教程。
使用IDEA编写的第一个MapReduce程序
☁️坐看云起时☁️
04-27 1556
一. 创建MAVEN程序 二.添加项目依赖包 创建完成后，要给项目添加相关依赖包，否则会出错。 点击Idea的File菜单，然后点击“Project Structure”菜单，如下图所示： 导入jar包： 选择hadoop的包，我用得是hadoop3.*。把下面的依赖包都加入到工程中，否则会出现某个类找不到的错误。 （1）”/usr/local/hadoop/share/hadoo...
windows下编写mapreduce程序
08-05
8. **运行与调试**：一旦代码在本地验证无误，你可以在实际的Hadoop集群上运行MapReduce作业。使用Hadoop的命令行工具提交作业，并通过日志和输出数据进行调试。 总之，在Windows下编写MapReduce程序需要对Hadoop的...
Idea运行MapperReduce本地环境配置(win10).rar
04-21
标题中的"Idea运行MapperReduce本地环境配置(win10)"指的是使用IntelliJ IDEA这款流行的Java开发集成环境，在Windows 10操作系统下配置MapReduce程序的本地运行环境。MapReduce是Hadoop生态系统中的一个核心组件，它...
hadooponwindows.zip
09-17
综上所述，"Hadoop on Windows"涵盖了从安装Java环境、配置Hadoop、启动服务到编写和运行MapReduce程序的全过程，以及可能遇到的问题和解决策略。对于希望在Windows平台上利用Hadoop进行大数据处理的开发者来说，这...
windows版hadoop
03-05
总之，Windows版的Hadoop虽然相比Linux环境更复杂，但通过适当的配置和调试，可以在Windows 10上成功搭建并运行Hadoop集群。这对于学习和理解Hadoop的工作原理以及开发基于Hadoop的数据处理应用非常有帮助。
Windows-hadoop-3.1.0.7z
12-08
【描述】"用于Windows端的idea Maven对hadoop集群进行操作" 表明这个压缩包包含了在Windows 10系统上，使用IDEA和Maven进行Hadoop集群管理所需的所有组件和配置文件。Hadoop是一个开源的大数据处理框架，主要由HDFS...
使用IDEA本地调试MapReduce程序
NickZxing
02-14 1631
使用IDEA本地调试MapReduce程序演示目标演示环境文件下载完整配置开始调试 演示目标 在Windows开发环境下，直接使用IDEA运行MapReduce程序，并支持Debug调试。 演示环境 基于Hadoop2.6.5； 启动HDFS与YARN高可用集群环境，可参考以下两篇博客： 从0开始搭建Hadoop2.x高可用集群（HDFS篇） 从0开始搭建Hadoop2.x高可用集群（YARN...
【windows】IDEA新建MapReduce项目
qq_41726230的博客
04-25 2224
【windows】IDEA新建MapReduce项目
使用intellij搭建运行MapReduce环境
wenpan的博客
03-28 3511
使用intellij搭建运行MapReduce环境 说明：因为本人是在Windows中的idea中编写的MapReduce程序，每次编写玩程序后都需要打成jar包发布到集群中去检查程序的正确性，个人感觉比较麻烦。 一、实验环境 物理机：Windows10 idea：intellij 2017 二、具体需求 在idea中搭建一个用于运行MapReduce程序的环境，这样就可以在idea中运行或调试M...
Hadoop专栏（四）使用idea操作MapReduce（代码篇）
斯特凡今天也很帅的博客
12-02 1515
写在前面： mapreduce 任务的提交方式 1. 打成JAR包，上传Linux，hadoop jar 执行 2. 嵌入某个应用程序：IDE 直接提交 3. local模式，在Windows上本地执行 以下代码，先使用IDEA直接提交，再打包成jar包后上传Linux执行 一、编写word count代码 注：依赖下载的jar包的配置文件pom.xml放在文末 1.驱动程序WordCountDriver.class package cn.kgc.wordcount; import org.apache.
如何在IDEA编译器中连接HDFS，运行MapReduce程序
小袁同学的博客
01-03 5161
⭐ ⭐ ⭐ ⭐ ⭐ 博主信息⭐ ⭐ ⭐ ⭐ ⭐ 博主名称：Yuan-Programmer 链接直达：https://bbs.csdn.net/topics/603957283 链接直达：https://bbs.csdn.net/topics/603957283 链接直达：https://bbs.csdn.net/topics/603957283 链接直达：https://bbs.csdn.net/topics/603957283 ⭐ ⭐ ⭐ ⭐ ⭐ 点点五星⭐ ⭐ ⭐ ⭐ ⭐ 我正在参加年度.
Intellij IDEA运行MapReduce程序的步骤
灿若星辰丶的博客
07-23 7645
1、JDK安装（略） 2、Maven安装 2.1 下载Maven 2.2 安装Maven配置环境变量 2.3 验证 在cmd命令提示符窗口中输入mvn -version查看maven安装的版本号 3、IDEA安装 3.1 下载安装包 4、在IDEA中创建maven项目   手动导入hadoop依赖包： 选中Fil...
在windows本地的Idea上运行mapreduce
程序员小李的博客
04-18 1380
mapreduce WIndows 本地测试 要有Java环境 下载解压Hadoop http://www.apache.org/dyn/closer.cgi/hadoop/common hadoop-2.8.5.tar.gz 点右键“解压到hadoop-2.8.5” 遇到的第一个坑 ----------- 解压失败，无法创建符号链接，可能需要以管理器身份运行winrar，解决：start w...
idea上创建mapreduce项目
05-25
在 IntelliJ IDEA 中创建 MapReduce 项目的步骤如下： 1. 打开 IntelliJ IDEA，选择 File -> New -> Project。 2. 在弹出的 New Project 窗口中，选择 MapReduce 项，然后选择 Hadoop 选项。 3. 在下一个窗口中，...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值