95-230-010-源码-WordCount走读-概述

最新推荐文章于 2023-08-13 17:22:27 发布
最新推荐文章于 2023-08-13 17:22:27 发布
阅读量441 收藏
点赞数
分类专栏： 大数据-flink
本文为博主九师兄（QQ:541711153 欢迎来探讨技术）原创文章，未经允许博主不允许转载。
本文链接：https://blog.csdn.net/qq_21383435/article/details/105748313
版权
大数据-flink 专栏收录该内容
854 篇文章 860 订阅 ¥99.90 ¥299.90
订阅专栏
本文深入解析Flink实现WordCount的源码，从构建Socket数据源开始，涵盖SourceFunction、SocketTextStreamFunction、DataStreamSource的创建与操作，包括flatMap、keyBy、timeWindow和reduce等转换，以及数据流处理过程中的关键接口和类的作用。通过案例详细阐述了Flink数据流处理的完整流程。
摘要由CSDN通过智能技术生成

1.视界

在这里插入图片描述

2.案例

在Flink中，实现从指定主机名和端口接收字符串消息，对接收到的字符串中出现的各个单词，每隔1秒钟就输出最近5秒内出现的各个单词的统计次数。

public class SocketWindowWordCount {
   
    public static void main(String[]
了解本专栏 订阅专栏 解锁全文
九师兄
关注
专栏目录
订阅专栏
95-230-022-源码-WordCount走读-获取JobGraph
九师兄
07-03 430
1.视界 2. JobGraph概述 2.1 JobGraph是什么？ ​ JobGraph：StreamGraph经过优化后生成了 JobGraph，提交给 JobManager 的数据结构。主要的优化为，将多个符合条件的节点 chain 在一起作为一个节点，这样可以减少数据在节点之间流动所需要的序列化/反序列化/传输消耗。 ​ 作业图（JobGraph）是唯一被Flink的数据流引擎所识别...
95-230-022-源码-WordCount走读-OperatorChain
九师兄
07-03 449
1.视界 2. 概述 2.1 OperatorChain 的重要属性 // 所有的操作符，最后每一个 StreamNode 都会包含一个 StreamOperator // 因为不含 StreamOperator 的 transformation 都变成 StreamEdge 的属性了 private final StreamOperator<?>[] allOperators; ...
95-230-028-源码-WordCount走读-获取ExecutionGraph
九师兄
07-03 523
1.视界 2. 概述 ​ ExecutionGraph：JobManager 根据 JobGraph 生成ExecutionGraph。ExecutionGraph是JobGraph的并行化版本，是调度层最核心的数据结构。 2.1 名词解释 StreamGraph：根据用户通过 Stream API 编写的代码生成的最初的图。 StreamNode：用来代表 operator 的类，并具有所有相关的属性，如并发度、入边和出边等。 StreamEdge：表示连接两个StreamNode的边。 JobGra
95-230-032-源码-WordCount走读-获取物理执行图
九师兄
07-03 445
1.视界 2.概述 物理执行图，还没有，放个美女以表敬意。。。。
95-230-026-源码-WordCount走读-本地运行SubmitJob的过程
九师兄
07-03 461
1.视界 2. 概述 3. 前文回顾 在前面 WordCount走读-获取JobGraph.md 中讲解了如何获取JobGraph，下面是继续执行 org.apache.flink.streaming.api.environment.LocalStreamEnvironment#execute 代码如下 @Override public JobExecutionResult execute(S...
twitter storm源码走读之6 -- Trident Topology执行过程分析
TeaBo.cn
05-16 162
欢迎转载，转载请注明出处，徽沪一郎。 TridentTopology是storm提供的高层使用接口，常见的一些SQL中的操作在tridenttopology提供的api中都有类似的影射。关于TridentTopology的使用及运行原理，当前进行详细分析的文章不多。 从TridentTopology到vanilla topology(普通的topology)由三个层次组成： 面向最终用...
Hadoop-MapReduce学习
迷路剑客个人博客
01-24 1362
Hadoop-MapReduce学习 摘要 本文简要将就爱你过MapReduce，重点是Shuffle部分 0x01 MapReduce-Mapper侧 1.1 简介 以上是一张Hadoop官方创作的MR过程图示。我们以大数据届的HelloWorld-WordCount为例讲述下MR过程。 1.2 Split-分片 1.2.1 Split简述 Map阶段的输入通常是HDFS上文件。 在运行Ma...
WordCount走读与源码概述
2301_79367634的博客
08-13 58
总结起来，WordCount是一个用于统计文本中单词出现次数的典型大数据案例。以上提供的源码和解读可作为学习和研究WordCount的起点，帮助读者更好地理解和掌握大数据处理中常见的统计任务。WordCount是大数据领域中的经典案例之一，它用于统计给定文本中各个单词的出现次数。本文将介绍WordCount的源码，并对其进行详细走读和概述。整个程序的执行过程如下：首先，输入的文本文件被分割成多个片段，在不同的计算节点上并行处理；对象，并对其进行必要的配置。的输出，对相同的单词进行累加，并将最终结果输出。
[源码解析] Flink的Slot究竟是什么？(1)
罗西的思考
08-24 1478
Flink的Slot概念大家应该都听说过，但是可能很多朋友还不甚了解其中细节，比如具体Slot究竟代表什么？在代码中如何实现？Slot在生成执行图、调度、分配资源、部署、执行阶段分别起到什么作用？本文和下文将带领大家一起分析源码，为你揭开Slot背后的机理。
flink-wordcount-demo01-1.0-SNAPSHOT.jar
10-29
flink wordcount 测试程序，包含流处理和批处理 无界流处理测试启动类：org.flink.study.practice01.StreamWordCount 启动参数：--isNetcat true --host 192.168.116.10 --port 9999
Spark-wordcount:spark wordcount示例| 在Eclipse + Maven + Scala Project + Spark中构建
04-28
Eclipse+Maven+Scala Project+Spark | 编译并打包wordcount程序 学习用Eclipse+Maven来构建并打包一个简单的单词统计的例程。 第一步 在EclipseIDE中安装Scala插件 在Eclipse中安装Scala插件 第二步 创建Scala ...
MapReduce - WordCount案例 - 含各种部署方式源码
06-25
本文将详细解析MapReduce在实现WordCount案例中的原理、步骤以及如何通过Java进行编程，并涵盖本地提交和远程调用的不同部署方式。 1. **MapReduce基本原理** MapReduce分为两个主要阶段：Map阶段和Reduce阶段。...
【含数据库+附源码+说明文档】基于Java swing和mysql实现的银行管理系统（彩色版本）
最新发布
11-04
一、项目简介 本项目是一套基于Java swing和mysql实现的银行管理系统，主要针对计算机相关专业的正在做毕设的学生与需要项目实战练习的Java学习者。 包含：项目源码、项目文档、数据库脚本等，该项目附带全部源码可作为毕设使用。 项目都经过严格调试，确保可以运行！ 该系统功能完善、界面美观、操作简单、功能齐全、管理便捷，具有很高的实际应用价值 二、技术实现 技术栈：Java swing，mysql 三、系统功能 用户的登录功能 用户的注册功能 用户个人业务模块： 包括：取款功能， 修改密码功能， 存款功能， 显示余额功能， 转账功能， 个人信息功能， 交易明细功能， 退出系统
计算机原理之什么是重定位
11-04
计算机原理之什么是重定位
学院就业信息网 SSM毕业设计 附带论文.zip
11-04
学院就业信息网 SSM毕业设计 附带论文 启动教程:https://www.bilibili.com/video/BV1GK1iYyE2B
【java毕业设计】基于SpringBoot的小型民营加油站管理系统源码（springboot+vue+mysql+说明文档）
11-04
项目经过测试均可完美运行！ 环境说明： 开发语言：java jdk：jdk1.8 数据库：mysql 5.7+ 数据库工具：Navicat11+ 管理工具：maven 开发工具：idea/eclipse
tornado-6.4-cp38-abi3-win_amd64.whl
11-04
tornado-6.4-cp38-abi3-win_amd64.whl
gurobi 的安装与连接
11-04
gurobi 的安装与连接
【内含数据库+附源码】javaWeb项目：基于servlet和jsp实现的学生信息管理系统
11-04
一、项目简介 本项目是一套基于servlet和jsp实现的学生信息管理系统，主要针对计算机相关专业的正在做毕设的学生与需要项目实战练习的Java学习者。 包含：项目源码、项目文档、数据库脚本、软件工具等，该项目附带全部源码可作为毕设使用。 项目都经过严格调试，确保可以运行！ 该系统功能完善、界面美观、操作简单、功能齐全、管理便捷，具有很高的实际应用价值 二、技术实现 servlet，jsp，mysql，echarts 三、系统功能 本系统分为三个角色： 学生、教师、管理员 学生信息管理：学生信息的增加删除修改查询 教师信息管理：教师信息的增加删除修改查询 班级信息管理：班级信息的增加删除修改查询 课程信息管理：课程信息的增加删除修改查询 考勤信息管理：考勤信息的增加删除修改查询 请假信息管理：请假信息的增加删除修改查询 选课信息管理：选课信息的增加删除修改查询 成绩信息管理：成绩信息的增加删除修改查询 成绩信息统计图：使用echarts进行图形化界面的展示 系统管理：对用户的账号信息进行管理
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

九师兄

你的鼓励是我做大写作的动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值