Hadoop基础-如何提交应用程序-以wordcount为例

最新推荐文章于 2023-04-11 16:11:01 发布
最新推荐文章于 2023-04-11 16:11:01 发布
阅读量338 收藏 3
点赞数 1
分类专栏： BigData問題采集 文章标签： hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_45675950/article/details/120826963
版权
本文详细介绍了如何在Hadoop环境中提交wordcount任务，包括启动HDFS和Yarn集群，准备数据，创建HDFS目录，上传数据，执行程序，以及查看计算结果和Yarn监控信息，帮助理解Hadoop MapReduce任务的执行流程。
摘要由CSDN通过智能技术生成

一、基础知识

1.1 几个常见的HDFS操作命令
biao
1.2 Hadoop 自带的例子程序
在$HADOOP_HOME目录下执行命令：

hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.6.jar

可显示Hadoop-2.7.7自带的例子程序及其功能，如图所示。本文要提交的任务是单词计数程序wordcount。
图1-1Hadoop-2.7.6自带的例子程序
1.3 Yarn的监控界面
Yarn的启动方式是执行脚本($HADOOP_HOME/sbin/start-yarn.sh),在Yarn正常启动以后，浏览器中输入(10.103.104.101:8088)可打开Yarn的监控界面。
Yarn监控界面的历史执行任务
从图中可以看到NodeManager节点个数为14(Active Nodes)，由于每个NodeManger配置了10个core和20GB内存，因此Yarn可以使用的总核数为140(VCores Total), 总内存是280GB（Memory To

最低0.47元/天 解锁文章
Hadoop 第一个应用程序 WordCount
SmartSi
07-03 276
使用 Java 语言编写 MapReduce 非常方便，因为 Hadoop 的 API 提供了 Mapper 和 Reducer 的抽象类，只需要继承这两个抽象类，然后实现抽象类里面的方法就可以了。
Hadoop之实战WordCount
qq_52150032的博客
05-19 1805
大致流程如下： 第一步：开发Map阶段代码 第二步：开发Reduce阶段代码 第三步：组装Job 在idea中创建WordCountJob类 添加注释，梳理一下需求： 需求：读取hdfs上的hello.txt文件，计算文件中每个单词出现的总次数 hello.txt文件内容如下： hello you hello me 最终需要的结果形式如下： hello 2 me 1 you 1 先创建map阶段的代码，在这里需要自定义一个mapper类，继承框架中的Mapper类 public static.
hadoop yarn 获取日志_Hadoop基础如何提交应用程序以wordcount为例
weixin_39831039的博客
12-21 230
在描述任务提交之前，有必要先了解一下部分基础知识。一、基础知识此处基础知识涉及HDFS基本操作命令、Hadoop自带例子程序和Yarn的监控界面。1.1 几个常见的HDFS操作命令想要在Hadoop平台上运行MapReduce程序，首先要将数据从本地上传到HDFS集群上，通常涉及到表1-1中的几个命令。表1-1本文要用到的几个HDFS命令序号命令功能1hdfs dfs -mkdir ...
Hadoop基础-提交应用程序（wordcount为例）
最新发布
风
04-11 373
hadoop提交应用程序
实验课-用集群运行自带的wordcount程序（Hadoop基础-提交wordcount应用程序）
SYITwin的博客
10-19 323
1.首先确保mapred-site.xml里面有以下配置内容： <property> <name>yarn.app.mapreduce.am.env</name> <value>HADOOP_MAPRED_HOME=${HADOOP_HOME}</value> </property> <property> <name>mapreduce.map.env</name> &...
input选择完文件操作_好程序员大数据教程分享HadoopHDFS操作命令总结
weixin_39785814的博客
11-29 225
好程序员大数据教程分享HadoopHDFS操作命令总结　　1.列出根目录下所有的目录或文件　　hadoopfs-ls/　　2.列出/logs目录下的所有目录和文件　　hadoopfs-ls/logs　　3.列出/user目录及其子目录下的所有文件(谨慎使用)　　hadoopfs-ls-R/user　　4.创建/soft目录　　hadoopfs-mkdir/soft　　5.创建多级目录　　hadoo...
使用hadoop api获取任务日志
小么飞刀的博客
04-28 1810
使用hadoop api获取任务日志 正常情况下我们可以通过开启日志聚合在yarn webUi上查看任务日志，但是当我们需要定制日志呈现方式时就需要使用到hadoop提供的api来获取。以下为demo。 引入依赖 <dependency> <groupId>org.apache.hadoop</groupId> ...
实验2-在Hadoop平台上部署WordCount程序-孙淼1
08-03
实验2的目的是在Hadoop平台上部署WordCount程序，以此来理解和体验云计算的基础应用。这个实验主要涉及以下几个关键知识点： 1. **Linux系统基础**：实验要求学生具备Linux系统的使用知识，包括基本的命令行操作、...
实验2-在Hadoop平台上部署WordCount程序1
08-08
【标题】：在Hadoop平台上部署WordCount程序的详解 【描述】：本实验旨在让学生掌握如何在Hadoop平台上部署并运行WordCount程序，这是Hadoop入门的经典案例，旨在统计文本中的单词出现次数。通过实践，学生将了解...
Hadoop--MapReduce--搭建WordCount案例
weixin_44976835的博客
04-06 294
流程 输入数据 Mapper 将MapTask传来的文本内容（Text类型）先转换为String类型 根据空格将每行切分为单词（xieshisan xieshisan） 将单词输出为<单词,1>（<xieshisan,1>） Reduce 汇总各个key的个数（xieshisan,1 xieshisan,1） 输出该key的总次数（xieshisan,2） Driver 获取配置信息，获取job对象实例 指定本程序的jar包所在的本地路径 关键Mapper
使用hadoop api获取任务日志（续）
小么飞刀的博客
05-16 789
使用hadoop api获取任务日志 在上一篇文章写到了如何使用hadoop api获取任务日志，只是最后贴出了日志输出的内容，没有写清楚到底如何输出日志。最近有小伙伴私信我如何输出日志，通过这篇文章进行一个补充，有不明白的地方可以私信或者留言。如果没有及时回复，可以添加我的微信。 @Test public void printLog() throws IOException { //假设我们已经通过其他的方式拿到了applicationId 一般都是通过livy 提供的rest a
通过HadoopAPI获取task日志内容
some_321的专栏
05-16 484
 在集群中查看Task日志的方法，一般有两个： 1，通过Hadoop提供的WebConsole，直接在页面中追踪查看； 2，到集群中运行该task的节点上，查看日志文件。每个tasktracker子进程都会用log4j产生三个日志文件，分别是syslog，stdout，stderr。这些日志文件存放到%HADOOP_LOG_DIR%目录下的userlogs的子目录中。但是通过该方法，需要追踪...
Hadoop 3.2.0 idea 远程提交 MapReduce job 任务 (手写WordCount)
李虹柏的博客
08-09 1192
创建maven项目导入jar包 <dependency> <groupId>org.apache.hadoop</groupId> <artifactId>hadoop-common</artifactId> <version>3.2....
Hadoop上传、下载以及word count简单示例
jvisualvm
04-08 323
首先看一个hadoop自带的example 1.启动 start-dfs.sh  启动start-yarn.sh 2.输入http://hadoop-0000:50070/，查看HDFS   3.  上传一个文件，比如JDK hadoop fs -put jdk-8u77-linux-x64.tar.gz hdfs://hadoop-0000:9000/   4.查看H...
hadoop学习（7）—— 使用yarn运行mapreduce一个简单的wordcount示例
隔壁小王的博客
04-15 1138
1.hdfs文件系统目录要求（建议） /user /{username} --用户名 /mr --MapReduce类型应用 /wordcount --应用的名称 /input --要处理的文件
Hadoop MapReduce V2 & Yarn——WordCount
乔治大哥的博客
10-07 419
WordCount 原理图示： 溢写，打错了。。。 一、首先准备工作： Hadoop的jar包，以及配置文件还有10000行的txt.文档 二、创建MyWC类 package com.henu.mr.wc; import java.io.IOException; import org.apache.hadoop.conf.Configuration; imp...
大数据之八 hadoop MapReduce on YARN--WordCount
xingyao231的博客
10-20 364
Hadoop MapReduce WordCount执行过程及代码分析
hadoop yarn 获取日志_YARN API：通过API获取应用程序的聚合日志
weixin_34638282的博客
01-17 1435
正如您在代码源https://github.com/apache/hadoop/blob/trunk/hadoop-yarn-project/hadoop-yarn/hadoop-yarn-client/src/main/java/org/apache/hadoop/yarn/client/cli/LogsCLI.java上所做的那样,这并非易事,显然,YARN API缺少日志API.curl h...
hadoop_wordcounts_yarn的配置_mr的简单使用
c.......p
02-03 182
1.导入jar包 &lt;dependencies&gt; &lt;!-- https://mvnrepository.com/artifact/org.apache.hadoop/hadoop-client --&gt; &lt;dependency&gt; &lt;groupId&gt;org.apache.hadoop&lt;/...
MapReduce详解：Hadoop集群中WordCount应用与JobTracker-TaskTracker架构
运行WordCount程序时，首先确保Hadoop环境已配置好，然后在源代码目录"src/examples"查找WordCount的源代码，按照程序逻辑进行编译和运行，观察和分析输出结果，以理解MapReduce如何将大文件拆分成小块、并行处理，...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值