2021年06月_3分钟秒懂大数据

12月 11月 10月 09月 08月 07月 06月 03月 01月

原创 Flink SQL 1.13—CDC 实践与一致性分析

原文链接请移步：Flink SQL 1.13—CDC 实践与一致性分析本文将从以下五部分进行分享CDC的原理、使用以及端到端的一致性分析！1、什么是 Flink SQL CDC Connectors2、Flink SQL CDC 原理介绍3、三种数据同步方案4、Flink SQL CDC + JDBC Connector 同步方案验证5、Flink SQL CDC + JDBC Connector 端到端一致性分析在 Flink 1.11 引入了 CDC 机制，CD...

2021-06-29 19:05:34 1123 5

原创 Ray submit topic list

1、End-to-End AutoML with Ludwig on Ray(1)3:25am-4:00amCSTLudwig is an open source AutoML framework that allows you to train and deploy state-of-the-art deep learning models with no code required. With a single parameter on the command line, the same.

2021-06-29 15:27:16 210

原创 Ray在蚂蚁大规模生成落地中的优化与实践

动态图计算融合流计算、图计算两种计算方式应用于风控、数据血缘分析、图机器学习等场景在线机器学习在一个系统中运行整个在线学习pipeline; 流计算、模型训练、模型服务。应用于各种推荐、广告系统。在线计算实现在线服务中执行分布式计算。应用于金融决策系统分布式运筹规划允许用户快速开发高可用、高可靠的分布式运筹算法应用于在线资源分配问题。...

2021-06-28 20:35:53 1169 2

原创 Flink CEP SQL 使用规则及案例介绍

公众号文章链接：Flink CEP SQL 使用规则及案例介绍由于Flink CEP SQL 语法与 Flink SQL语法不太相同，新增许多规则，所以在讲解时，我们通过一个完整的案例来分析具体包含的规则。如下是通过Flink CEP SQL 写的关于金融场景银行卡盗刷案例。案例介绍：在金融场景中，有时会出现银行卡盗刷现象，犯罪分子利用互联网等技术，在间隔10分钟或者更短时间内，使一张银行卡在不同的两个地方出现多次刷卡记录，这从常规操作来说，在间隔时间很多的情况下，用户是无法同时在两个..

2021-06-24 19:43:55 750 1

原创 Flink CEP 基本概念及使用规则

CEP的概念：Ø复杂事件处理（Complex Event Processing），用于识别输入流中符合指定规则的事件，并按照指定方式输出。Ø起床—>洗漱—>吃饭—>上班一系列串联起来的事件流形成的模式Ø浏览商品—>加入购物车—>创建订单—>支付完成—>发货—>收货事件流形成的模式。通过概念可以了解，CEP主要是识别输入流中用户指定的一些基本规则的事件，然后将这些事件再通过指定方式输出。...

2021-06-24 19:37:53 588 3

原创 Flink SQL 1.13新特性介绍

自从Flink 社区更新Flink1.13版本之后，博主作为一名Flink开发人员，对Flink SQL 1.13进行了探索，接下来将以四个部分对新增的内容进行展开介绍。在整个Flink 1.13版本下，来自全球各地的开发人员共解决ISSUES 1000+，提交PR 200+，针对Flink Table/ SQL模块，解决ISSUES400+。其中Flink Table / SQL 新增的功能模块主要分为以下5大模块 Window TVF 包含四...

2021-06-23 10:31:30 732 1

原创分布式计算引擎—Ray SGD 设计原理及核心实现

点击3分钟秒懂大数据查看原文链接，关注博主公众号： 3分钟秒懂大数据，带你畅游大数据、算法的知识海洋！现如今，随着深度模型的增大，只在单节点上进行模型训练，将会花费数天甚至数周的时间，基于此，Ray社区提出基于Ray实现一个分布式训练包装器，也就是Ray SGD，Ray SGD具备如下特点：上面介绍到，Ray SGD是一个分布式训练包装器，主要对深度学习框架Tensorflow、Pytorch进行包装，通过num_workers参数来控制Ray节点的副本，每...

2021-06-22 10:11:02 957