菜鸟在物流场景中基于Flink的流计算实践

最新推荐文章于 2023-09-07 09:06:07 发布
最新推荐文章于 2023-09-07 09:06:07 发布
阅读量438 收藏 1
点赞数

本文作者：马汶园（花名：晨蕊）

演讲标题：《菜鸟在物流场景中基于Flink的流计算实践》
嘉宾简介：北京邮电大学硕士，2017年加入菜鸟网络，从事菜鸟实时数据设计与开发，对利用 Flink 特性与原理解决物流场景问题有深入的思考与理解。

640?wx_fmt=png

640?wx_fmt=png

640?wx_fmt=png

640?wx_fmt=png

640?wx_fmt=png

640?wx_fmt=png

640?wx_fmt=png

640?wx_fmt=png

640?wx_fmt=png

640?wx_fmt=png

640?wx_fmt=png

640?wx_fmt=png

640?wx_fmt=png

640?wx_fmt=png

640?wx_fmt=png

640?wx_fmt=png

640?wx_fmt=png

640?wx_fmt=png

640?wx_fmt=png

640?wx_fmt=png

640?wx_fmt=png

640?wx_fmt=png

640?wx_fmt=png

640?wx_fmt=gif

640?wx_fmt=jpeg

王知无(import_bigdata)
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
iot-trucking-app-flink:带有Flink的IoT货运应用程序（具有Table API和SQL）
05-08
带有Flink的IoT货运应用 该项目通过Flink（主要是Flink Table API和SQL）重新实现了HDF IoT货运应用。 ，Hadoop首脑会议2017年 该项目提供了几个示例应用程序，分别利用了流流连接，窗口聚合和重复数据删除。 该项目取决于Flink 1.5.0。 应用程序取决于Truck Geo Event和Truck Speed Event，有关详细信息， 中的 。 应用程序还假定卡车地理事件和卡车速度事件都被吸收到Kafka主题中，这可以通过轻松完成。 要在此项目上运行应用程序，请按照以下步骤操作： 建立项目 sbt assembly 为输入事件和结果创建Kafka主题 $KAFKA_HOME/bin/kafka-topics.sh --create --topic truck_events_stream \ --zookeeper localhos
Flink在多中心/边缘计算上的实践
大数据星球-浪尖
09-07 925
转自：未知瞬间陈仕明 虎牙数据平台负责人，一直从事数据相关的工作，从最初的企业数仓，到互联网数仓架构，再到大数据系统架构，拥有十年以上的行业经验。在混合云、边缘计算等新...
【实时数仓篇】（03）菜鸟物流利用 Flink 实现实时超时统计场景
云祁QI
05-30 3198
文章目录一、前言二、实时数仓基本架构三、难题：实时超时统计四、解决方案 一、前言 在小破站看了晨磊大佬关于Flink的分享视频 https://www.bilibili.com/video/BV1TE411L7zV/?spm_id_from=333.788.videocard.4，这篇博客主要对这次分享的一些知识点做些整理。 看大佬，人美技术牛！ ( •̀ ω •́ )✧ 二、实时数仓基本架构 以下是菜鸟作为物流扛把子，它对于数据的需求，主要有以下四点： 实时的数据，它存在的计算难点如下。我们知道，实时
Blink 有何特别之处？菜鸟供应链场景最佳实践
阿里技术
05-23 803
阿里妹导读：菜鸟供应链业务链路长、节点多、实体多，使得技术团队在建设供应链实时数仓的过程中，面临着诸多挑战，如：如何实现实时变Key统计？如何实现实时超时统计？如何进行有...
二、基于java的flink实践
weixin_36723038的博客
03-27 501
+、版本 flink-1.11.3-bin-scala_2.11_recommend.tgz +、配置 conf/flink-conf.yaml 1、web工作台 rest.address: 0.0.0.0 rest.port: 8081 2、集群 jobmanager.rpc.address: 0.0.0.0 jobmanager.rpc.port: 6123 +、启动/关闭 ./start_cluster.sh ./stop_cluster.sh +、防火墙 sudo ufw enable sudo u
基于flink的实时流计算web平台.zip
最新发布
04-26
基于flink的实时流计算web平台.zip基于flink的实时流计算web平台.zip基于flink的实时流计算web平台.zip基于flink的实时流计算web平台.zip基于flink的实时流计算web平台.zip基于flink的实时流计算web平台.zip基于...
腾讯基于Flink的实时流计算平台演进之路
02-24
这次分享主要包含四个议题，会首先阐述一下腾讯在实时计算中使用Flink的历程，然后会简单介绍一下腾讯围绕Flink的产品化实践：我们打造了一个Oceanus平台，同时腾讯云也早已提供基于Flink的实时流计算服务，接着我们...
基于Java的实时流计算Flink SQL Web平台设计源码
04-07
实时流计算Flink SQL Web平台：基于Java开发，包含808个文件，包括215个Java类文件、192个JavaScript文件、148个Vue组件文件、58个CSS样式文件、46个SVG图像文件、29个Markdown文档、24个XML配置文件、18个PNG图像...
基于Flink的流计算平台
04-23
总的来说，基于Flink的流计算平台如StreamCompute，通过提供强大的工具集、优化的API和全面的运维功能，极大地简化了流处理应用的开发和维护，同时在大数据实时处理场景中展现出高效、稳定和易用的特点。
JavaFlink原理、实战、源码分析（二）原理部分
qq_36250202的博客
04-13 1001
JavaFlink原理、实战源码分析(一)https://blog.csdn.net/qq_36250202/article/details/112978869 第六章 Flink 中的 Window 主要内容 • window 概念 • window 类型 • window API 6.1 Window 6.1.1 Window 概述 streaming 流式计算是一种被设计用于处理无限数据集的数据处理引擎，而无限数据集是指一种不断增长的本质上无限的数据集，而 window 是一种切割.
flink详细教学
12-14
flink比较全面的教学视频 基础和理论实践相结合 比较适合初学者进行学习
Flink CDC 菜鸟教程 -环境篇
RodJohnsonDoctor的专栏
09-07 1117
FlinkCDC 菜鸟教程-环境篇，环境准备是为后续实践篇章做准备，非常重要，搞清程序运行环境就成功了一半
Flink菜鸟教程(一)——从入门到开发
su_bao的博客
06-15 3万+
从这一期开始，将分享一个新的系列——讲讲Flink菜鸟教程。Flink作为大数据实时计算引擎，受到了越来越多的关注和使用，它的高吞吐、低延迟、以及支持ExactlyOnce语义的优良特性，进一步扩大了自己的粉丝圈。随着社区的发展以及阿里巴巴对Blink(Flink的阿里巴巴版)的开源，Flink SQL的功能也逐步强大，越来越多的开发者已经选择从DataStream API和DataSet API转向了更为简单的SQL API，那么为什么要转向SQL API？主要有这几个原因： 第一就是好懂啊！SQL是一
Flink菜鸟教程(二)——时间概念
su_bao的博客
06-15 7449
上一节说到，实时计算中的数据可以看成无界流(unbounded stream)，没有确切的结束时间，就像水流一样——逝者如斯夫，不舍昼夜。这也是实时数据区别于离线数据的地方，离线数据是有界的，有确定的开始时间和结束时间，因此所有的离线计算都是基于确定的有限数据展开的。 一、实时计算中时间的重要性 离线计算模式下，计算引擎摄入全量的需要计算的有界数据，按照确定的维度进行聚合，所有的计算过程都是确定的。但是在实时计算中却截然不同，首先实时计算是持续不断进行的，由于网络波动等情况不可避免，数据最终到达算子的时
Bigdata_Flink（一）
csdnwindnorth的博客
12-18 281
概述 流处理语义 At most once（最多一次）： 每条数据记录最多被处理一次，潜台词也表明数据会有丢失（没被处理掉）的可能。 At least once（最少一次）： 每条数据记录至少被处理一次。这个比上一点强的地方在于这里至少保证数据不会丢，至少被处理过，唯一不足之处在于数据可能会被重复处理。 Exactly once（恰好一次）： 每条数据记录正好被处理一次。没有数据丢失，也没有重复...
20-06-flink
qq_28764557的博客
02-21 209
略 ---01--- flink的检查点不是数据是状态。 ---02---
Apache Flink 快速实践(Quickstart)
Norman S L Dai 的博客
05-27 2132
QuickstartSetup: Download and Start Flink在Linux, Mac OS X或者 Windows上运行Flink 只需要 JAVA 7或者以上的版本，对于Windows用户来讲请参考Flink on Windows、你可以使用下面的命令来查看当前安装的JAVA版本java -version如果你安装的是java8的版本，你看到的结果应该类似下面这样：java v
适合新手的Flink入门教程
3y
11-26 1万+
看了这篇，再看官网就轻松了。
flink 应用场景（实时处理dataflow）
热门推荐
不是一枚开发
05-31 4万+
文章目录前言1. 电商和市场营销2. 物联网（IOT）3. 物流配送和服务业4. 银行和金融业 前言    Flink 的定位是一个大数据流式处理引擎，处理流式数据（Data Flow）。数据并不是收集好的，而是像水流一样，是一组有序的数据序列，逐个到来、逐个处理。由于数据来到之后就会被即刻处理，具有良好的实时性。Flink 适合的场景，就是需要实时处理数据流的场景 1. 电商和市场营销 举例：实时数据报表、广告投放、实时推荐   在电商行业中，网站点击量是统计 PV(页面访问量，即PageView)、U
基于flink的流计算运行时长统计
07-10
基于Flink的流计算作业的运行时长统计可以通过以下步骤来实现： 1. 启用Flink的Metrics系统：在Flink的配置文件中，确保已启用Metrics系统并配置适当的报告器（如Prometheus、Graphite等）。这将使Flink开始收集...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值