hadoop在本地上运行调试的配置

最新推荐文章于 2023-10-28 16:02:22 发布
最新推荐文章于 2023-10-28 16:02:22 发布
阅读量875 收藏
点赞数
分类专栏： hadoop 文章标签： hadoop 本地运行
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_37786726/article/details/79144987
版权

（1）mapreduce程序是被提交给LocalJobRunner在本地以单进程的形式运行

（2）而处理的数据及输出结果可以在本地文件系统，也可以在hdfs上

（3）怎样实现本地运行？写一个程序，不要带集群的配置文件（本质是你的mr程序的conf中是否有mapreduce.framework.name=local以及yarn.resourcemanager.hostname参数）

（4）本地模式非常便于进行业务逻辑的debug，只要在eclipse中打断点即可

 

如果在windows下想运行本地模式来测试程序逻辑，需要在windows中配置环境变量：

％HADOOP_HOME％  =  d:/hadoop-2.6.1

%PATH% =  ％HADOOP_HOME％\bin

并且要将d:/hadoop-2.6.1的lib和bin目录替换成windows平台编译的版本

麦才坚
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Hadoop完全分布式配置.txt
11-05
当配置文件为空时，Hadoop会完全运行在本地。因为不需要与其他节点交互，单机模式就不使用HDFS，也不加载任何Hadoop的守护进程。该模式主要用于开发调试MapReduce程序的应用逻辑。 b. 伪分布模式 Hadoop守护进程...
配置hadoop的三种运行模式
qq_64148623的博客
06-25 291
（1）功能：循环复制文件到所有的节点的相同目录下 (2 ) 期望的脚本： 脚本名 要同步的文件名称 （3）脚本的实现 在/home/chenxp/bin 这个目录下存放要编写的脚本。2）需要执行hadoop-3.1.3/share/hadoop/mapreduce下的hadoop-mapreduce-examples-3.1.3.jar来统计单词 的个数。（5）检查 hadoop103 hadoop104的/home/chenxp/是否有bin目录，bin是否存在xsync .sh文件。
Hadoop本地模式部署配置及测试示范
最新发布
大邳草民的博客
10-28 312
因此， /etc/profile 适用于系统范围的配置，而 ~/.bashrc 适用于个人用户的配置. 通常，可以在 /etc/profile 中设置系统级别的环境变量和路径，然后在 ~/.bashrc 中设置个人用户的环境变量、别名和其他个性化配置. 这样可以保持系统级别和用户级别的配置分离，方便管理和维护.- hadoop jar ：运行Hadoop的一个Java程序，后面跟随要运行的Java程序的JAR包路径.
Hadoop本地运行模式（Grep案例和WordCount 案例）
rm -rf/坏习惯
03-28 3974
Hadoop运行模式包括：本地模式、伪分布式模式以及完全分布式模式。这里先介绍本地运行模式 运行官方Grep案例 提供一些文本文件, grep可以从中找到想要匹配的文本 运行官方WordCount 案例 这例子是对文件中某些单词进行统计数。
Hadoop本地测试（学习笔记2）
RomanticRick的博客
03-26 1924
Hadoop框架下 本地模式测试 在测试之前确保你的虚拟机已成功安装好了 hadoop框架 （在命令行输入 Hadoop version） 如上显示就安装和配置完成 进入到hadoop-3.1.3 文件夹下 使用命令行操作创建一个字段文件夹和文档 来测试效果 mkdir wcinput 进入创建好的 wcinput ，在该文件夹下创建一个 word.txt文件 在 wcinput文件夹下创建 创建 word.txt文档 vim word.tax ...
Windows本地配置hadoop运行环境
a200822146085的博客
06-19 6278
windows本地配置hadoop运行环境，可以帮助我们更好进行开发或者hadoop学习。 本文介绍了如何搭建一个hadooop伪运行环境。 一、下载安装包并配置环境变量 下载hadoop binary安装安装包： https://hadoop.apache.org/releases.html 下载完后配置环境变量： HADOOP_HOME=D:\hadoop-2.6.0 path里面添加：%HA...
07hadoop的安装&hdfs集群的配置与测试——好程序
01-07
1•Local (Standalone) Mode（单节点的本地模式）Linux的文件系统就是hadoop的存储系统运行在单个的jvm环境，它使用linux的文件系统，适用于开发、测试、调试环境 运行案例 2•Pseudo-Distributed Mode（伪分布式...
Hadoop Mapreduce本地调试
咕噜大大的专栏
04-16 9584
Mapreduce 是Hadoop上一个进行分布式数据运算和统计的框架，但是每次运行程序的时候都需要将程序打包并上传的集群环境中运行，这就会让程序的调试变得十分不方便。所以在这里写下这篇博客和大家交流学习如何在本地调试Mapreduce程序。        我的本地开发环境是Mac10.11.4, Hadoop 2.6.4, 集群操作系统是centos6.7 MapRedu
Hadoop本地运行模式深入理解
什么最重要？算法！！
07-04 1万+
Hadoop的运行模式分为3种：本地运行模式，伪分布运行模式，集群运行模式，相应概念如下： 1、独立模式即本地运行模式（standalone或local mode） 无需运行任何守护进程（daemon），所有程序都在单个JVM上执行。由于在本机模式下测试和调试MapReduce程序较为方便，因此，这种模式适宜用在开发阶段。 2、伪分布运行模式 伪分布:如果Hadoop对应的Java进程都运行
intellij idea本地开发调试hadoop的方法
热门推荐
oo笨小孩oo的专栏
04-26 2万+
我的intellij idea版本是14，hadoop版本2.6，使用《hadoop权威指南》的天气统计源码作为示例。 1、首先在hadoop官网上下载hadoop到本地（不需要进行环境变量的配置，仅仅只用下载hadoop的包即可）。 2、打开intellij idea创建一个空项目，并且将源码粘贴进去，如图 2、这时可以看见代码中的许多类是无法识别的，别急。接下来打开p
hadoop本地调试模式，测试 mapreducer
a2615381的专栏
04-05 4250
这次使用的是  win下开发 MR代码，可以进行debug模式进行调试，当没有问题的时候，可以修改一下源文件名 ，然后上传到linux运行 基本数据 dept文件内容： 10,ACCOUNTING,NEW YORK 20,RESEARCH,DALLAS 30,SALES,CHICAGO 40,OPERATIONS,BOSTON   emp文件内容： 7369,SMITH,CL
安装Hadoop 本地模式测试Hadoop，wordcount
happytjl的博客
04-05 1197
1、cd /opt/softwares //切换到hadoop压缩包的安装目录下,我的目录在/opt/softwares tar -zxf hadoop-2.5.0.tar.gz -C /opt/modules //将压缩包解压到/opt/modules目录下 然后有如图所示的错误，则可以忽略，这是因为文件太大导致的，没有影响。 c...
Hadoop之本地运行模式基本环境配置
Doctor_96的博客
05-14 1038
Hadoop 环境配置 非专业生产环境配置 JDK安装包：jdk-8u212-linux-x64.tar.gz 提取码：l5go Hadoop安装包：hadoop-3.1.3.tar.gz 提取码：2juv 1.服务器准备 1.1 配置必要的环境（初始化状态下的服务器） yum install -y epel-release psmisc nc net-tools rsync vim lrzsz ntp libzstd openssl-static tree iotop 配置成功： 1.2 配置
Hadoop 本地调试
Xu_Haihua的专栏
02-25 1791
1、调试本地代码 mapreduce.framework.name local 如果远程调试 value为yarn，本地调试改成local 2、读取本地数据  在调试过程中，读取远程服务器数据效率降低，可将数据复制到本地c盘下，将core-site.xml 中的fs.defaultFS配置注释掉，job就会读取本地数据而不是hdfs数据 --> fs.default
hadoop 本机环境开发调试注意事项
自由の力
10-23 2061
这里的本地开发环境是指，我自己有虚拟机搭建的HADOOP环境，但是我想在windows的环境上开发调试hadoop程序，这里HDFS的文件读取和输出还是放在linux虚拟机上，但是程序是跑在windows上的hadoop环境里的 运行的代码头部加入 System.setProperty("HADOOP_USER_NAME", "root");2.windows环境变量里加入本地hadoop的路径HA
Hadoop基本配置及在本地模式下运行MapReduce案例
不清不慎的博客
12-29 4463
一、认识Hadoop 什么是Hadoop，这里来看看官网的说法，Scalable distribute computing，即可扩展分布式计算框架。具体看下面：The Apache Hadoop software library is a framework that allows for the distributed processing of large data sets across c
【Hadoop】16-本地运行测试数据
通往神秘的道路的专栏
05-13 977
现在mapper和reducer已经能够在受控的输人上进行工作了，下一步是写一个作业驱动程序(job driver)，然后在开发机器上使用测试数据运行它。1在本地作业运行器上运行作业通过使用前面介绍的Tool接口，可以轻松写一个MapReducer作业的驱动程序，用它来计算按照年度查找最高气温，参见范例的MaxTemperatureDriver。范例，查找最高气温public class MaxT...
快速在Window本地运行hadoop(包括hadoop的hdfs，mapreduce)
清纯玉面可爱小郎君
09-07 2428
window下运行HDFS 第一步：设置hadoop的在Window下运行配置 A、将hadoop（windows平台下编译的hadoop）安装包解压一份到windows的任意一个目录下（安装包见下面链接）（注意我的安装包下 已经有winutils.exe这个重要文件了，这个文件是我主动放进去的，必需的） B、在window系统中配置HADOOP_HOME指向你
Intellij IDEA连接Hadoop HDFS实现本地调试
supermao1013的专栏
04-19 6687
首先下载HadoopIntellijPlugin插件，该插件在CSDN上可以下载到现成的（不过需要积分）。 其实该插件真正的出处地址是：https://github.com/fangyuzhong2016/HadoopIntellijPlugin 大家可以按照github的介绍生成属于自己版本的插件（亲测可行） 若是hadoop 2.7.3版本，可以直接下载我生成好的插件，请戳这里：网盘下载，...
idea远程调试hadoop
09-10
远程调试Hadoop可以采取以下步骤： 1. 确保你有一个可用的远程Hadoop集群，包括Hadoop的主节点和多个数据节点。 2. 在本地机器上安装一个IDE（如IntelliJ IDEA）或者其他支持远程调试的工具。 3. 在本地机器上下载Hadoop的源代码，并设置好开发环境。 4. 在IDE中创建一个新的远程调试配置。配置项包括连接到远程主节点的IP地址和端口号。 5. 启动远程调试会话，并连接到远程主节点。 6. 在IDE中设置断点，以便在调试过程中暂停程序执行。 7. 运行你要调试的Hadoop作业或任务，并观察调试器是否暂停在你设置的断点处。 8. 在断点处检查变量、输出和日志，以了解程序的执行情况。 9. 使用调试器的步进功能（如单步进入、单步跳过、继续等）来逐步调试程序，查找问题并进行修复。 10. 调试完成后，记得关闭远程调试会话，并重新部署你的代码到Hadoop集群上。 请注意，远程调试Hadoop可能涉及到网络连接和权限配置等方面的挑战，因此确保你已经具备了足够的技术能力和权限来进行这项任务。此外，还建议在调试过程中使用日志记录和其他调试工具来辅助定位问题。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值