Spring For Hadoop学习笔记（2）

最新推荐文章于 2023-04-24 11:27:43 发布
最新推荐文章于 2023-04-24 11:27:43 发布
阅读量520 收藏
点赞数
分类专栏： hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u012792454/article/details/45872461
版权
本文详细介绍了如何配置Hadoop作业参数，包括作业名称、输入输出路径、映射与归约类，并展示了如何使用Spring框架运行WordCount作业。同时，指导读者如何并行执行多个作业及绑定到特定的作业运行器。
摘要由CSDN通过智能技术生成

下面来配置一个hadoop作业的参数，同配置hadoop环境参数相似。

<span style="font-size:14px;"><hdp:job id="mr-job"
  input-path="/input/" output-path="/ouput/"
  mapper="org.apache.hadoop.examples.WordCount.TokenizerMapper"
  reducer="org.apache.hadoop.examples.WordCount.IntSumReducer"/></span>

配置作业名称为mr-job，输入路径为/input/，输出路径为/output/，

mapper类为org.apache.hadoop.examples.WordCount.TokenizerMapper

reducer类为org.apache.hadoop.examples.WordCount.IntSumReducer


运行这个作业，还需要配置一个运作者

<hdp:job-runner id="myjob-runner" pre-action="cleanup-script" post-action="export-results" job-ref="myjob" run-at-startup="true"/>

需要同时运作多个作业，可以在job-ref属性中全部列出以逗号隔开。


----------------------------------------------------------------------------------------------------------------------------------

马上尝试绑入spring跑个wordcount试试。



Oblivious_001
关注
专栏目录
Hadoop学习笔记-MapReduce实现好友推荐记录
Dengrz的Blog
11-11 893
一、简介 好友推荐功能简单的说是这样一个需求，预测某两个人是否认识，并推荐为好友。 二、思路 某两个非好友的用户，他们的共同好友越多，那么他们越可能认识。 比如，原始数据如下 Tom Cat Hello Hadoop Spring Cat Hello Spring Hello Tom Netty Hadoop Cat Hadoop Tom Hello Netty Spring Spring Tom Cat Hadoop Netty Hello Hadoop 每一行表示某个用户的好
Hadoop学习笔记(二)Hadoop 分布式文件系统 HDFS：1.HDFS基础
大C的博客
02-19 351
HDFS客户端操作（开发重点） 1. HDFS客户端环境准备 2. HDFS的API操作 3. HDFS的I/O流操作
spring-hadoop官方文档
04-15
Spring for Apache Hadoop 提供了 Spring 框架用于创建和运行 Hadoop MapReduce、Hive 和 Pig 作业的功能，包括 HDFS 和 HBase。如果你需要简单的基于 Hadoop 进行作业调度，你可添加 Spring for Apache Hadoop 命名空间到你的 Spring 项目即可快速使用 Hadoop 了，使用该项目无需了解过多 Hadoop 技巧。
Spring For Hadoop学习笔记（1）
Oblivious_001的专栏
05-20 566
今天开始学习Spring For Hadoop的使用，起步阶段先实现使用Spring For Hadoop跑通最简单的wordcount案例，后期使用HBase，再整合进Web项目里。 网上Spring For Hadoop的中文教程较少，先从官方文档开始学起。
Spring for Apache Hadoop 2.5.0
BLOG域名:programb.blog.csdn.net
03-26 395
NOTICE: The Spring for Apache Hadoop project will reach End-Of-Life status on April 5th, 2019. We will publish occasional 2.5.x maintenance releases as needed up until that point and will then move th...
spring hadoop系列一
xixihaha_123的专栏
11-05 252
 一、要求 1、对于spring hadoop2.1构建在jdk7上面（最低要求：jdk6及其以上），hadoop 2.6 默认构建在spring framework 4.1上。 2、spring for Apache hadoop2.1支持如下hadoop版本   Apache Hadoop 2.4.1   Apache Hadoop 2.5.2   Apache Hadoop 2...
Spring for hadoop 简介
karo_lee的专栏
05-07 255
  Spring for hadoop提供了统一的配置模式以简化Apache Hadoop的开发，并也易于调用HDFS、Mapreduce、Pig和Hive的API。它还提供了与Spring生态圈的其他项目集成的能力，例如Spring Intergration 和Spring Batch，让你可以优雅地开发大数据的提取/导出和Hadoop工作流项目。 从OReilly公司下载Spring-d...
最新Hadoop学习笔记
08-25
**Hadoop学习笔记详解** Hadoop是一个开源的分布式计算框架，由Apache基金会开发，主要用于处理和存储海量数据。它的核心组件包括HDFS（Hadoop Distributed File System）和MapReduce，两者构成了大数据处理的基础...
大数据云计算技术 Hadoop运维笔记（共21页）.pptx
09-04
【大数据云计算技术 Hadoop运维笔记】的PPT涵盖了Hadoop在蓝汛公司的应用实践，以及Cloudera的产品和运维经验。以下是对其中知识点的详细解释： 1. **Hadoop在蓝汛的应用**： - 蓝汛使用了6000台设备，300个集群，...
spring-data的学习笔记
11-06
2. **直接在接口中定义查询方法**：SpringData支持的方法名关键字包括`find`, `read`, `get`等，这些关键字后面紧跟属性名，从而实现特定的查询逻辑。例如`findByName(String name)`。 3. **使用注解定义查询**：...
basic-spring-for-hadoop:Hadoop 与 Spring for Hadoop 的比较
06-04
简单的工作流程 简单的工作流 MapReduce 示例。 此示例依赖于wordcount-hadoop项目，因此您必须首先构建并安装它。 在本示例中，使用master主机名作为 Hadoop 服务器的 IP。 此示例与 Hadoop 2 或更高版本兼容
使用maven+spring做的HDFS的WEB项目
07-21
使用maven+springmvc+spring来创建的关于在web端对HDFS的上传，下载，删除以及查看各级目录，部署后需要改ip地址，以及一些细节问题没有处理好。后期改善后会继续上传
java整合spring和hadoop HDFS全部jar
12-12
java整合spring和hadoop HDFS全部jar
基于springboot,hdfs的网盘系统(基础框架)（云服务器搭建的分布式架构上的hdfs，windows编译器IDEA，包含全开发流程,springboot部署在linux上，可公网访问）
m0_45311187的博客
03-13 1669
基于springboot,hdfs的网盘系统（云服务器搭建的分布式架构上的hdfs，windows编译器IDEA，包含全开发流程,springboot部署在linux上，可公网访问）
SpringBoot 整合HDFS
qq_27242695的博客
08-16 3197
文章目录SpringBoot 整合HDFS1 window本地测试前置操作2 整合代码2.1 pom2.2 code3 上传加载 SpringBoot 整合HDFS 1 window本地测试前置操作 本地安装hadhoop 2 整合代码 2.1 pom <!-- hadoop--> <dependency> <groupId>org.apache.hadoop</groupId> <
springboot集成hadoop实现hdfs功能
最新发布
askuld的博客
04-24 1424
但是,我们是在自己的电脑去访问虚拟机,用的是公网的地址,这样当然是无法访问hdfs的内网地址,也无法和datanode建立正常的输送连接,这也是为什么namenode上有目录,但是大小却为0的原因,也是为什么web界面无法下载文件的原因。所以,我们要去想办法让namenode不要返回datanode的内网地址,而是公网的地址,这样我们才能访问和连接。namenode返回datanode的地址,注意是hdfs文件系统的内网地址!想办法使本地可以访问到 DataNode。
学习Hadoop第六课（初识HDFS原理）
u012453843的专栏
09-07 3096
上一节我们学习了Hadoop的SSH免密码登录配置和SSH原理，这节我们来进入HDFS的学习，为了避免一开始就说的特别难以理解，我们先简单的 说一下HDFS的原理，我们来看一张分布式文件系统架构图（如下图所示），我们已经知道HDFS的NameNode是管理者，DataNode是被管理者，下面 的这个例子是，假如我们想向HDFS分布式系统上传一个大小为200M的日志文件，那么HDFS系统是如何工
HDFS的API操作（通过springboot实现）
m0_52931616的博客
10-23 1816
在windows下编程并运行代码对虚拟机中的hadoop集群进行操作。主体内容为讲述如何使用HDFS API对HDFS分布式文件系统进行操作，
Hadoop 入门笔记—核心组件 HDFS
weixin_44433834的博客
11-19 1563
作者：幻好 来源：恒生LIGHT云社区 基本概念 HDFS (Hadoop Distributed File System) 是 Hadoop 下的分布式文件系统，具有高容错、高吞吐量等特性，可以部署在低成本的硬件上。 首先，通过名字就能很清楚的明白 HDFS 在 Hadoop 中是应该文件存储的组件。 HDFS 的设计之初，主要是考虑到在数据量的不断增长的环境下，由于受制单机资源有限，为了保证系统能够提供高可用、高可靠性以及高扩展等要求，于是通过分布式架构，以达到响应的需求。 核心架构 HDFS 的.
【技术项目资源】全栈源码合集+学习笔记+操作手册
资源摘要信息:"【高分项目】使用shiro改造Chengfeng【源码+论文+学习笔记+操作手册].zip"是一个包含了完整技术项目资源的压缩包，涵盖了多个技术领域和层次的学习材料。该资源包不仅包含了各种技术项目的源码，还...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值