Storm
大数据研习社
「大数据研习社」号主,实战大数据(Hadoop+Spark+Flink)作者,从Java开发到大数据开发13年。微信:dashuju_2017,加好友备注CSDN。
展开
-
运作中的Flink场景
说明:本文为《Flink大数据项目实战》学习笔记,想通过视频系统学习Flink这个最火爆的大数据计算框架的同学,推荐学习CSDN官网课程:Flink大数据项目实战:http://t.cn/ExrHPl9Flink应用场景主要应用场景有三类:1.Event-driven Applications【事件驱动】2.Data Analytics Applications【分析】3....原创 2019-03-14 14:15:10 · 1230 阅读 · 0 评论 -
月薪3万+的大数据人都在疯学Flink,为什么?
身处大数据圈近5年了,在我的概念里一直认为大数据最牛的两个东西是Hadoop和Spark。18年下半年的时候,我突然发现身边很多大数据牛人都是研究学习Flink,甚至连Spark都大有被冷落抛弃的感觉。何以至此,Flink是个什么鬼?Apache Flink(简称Flink)是一个分布式大数据处理引擎,可对有限数据流和无限数据流进行有状态计算。可部署在各种集群环境,对各种大小的数据规模进...原创 2019-04-04 11:57:37 · 693 阅读 · 0 评论 -
Flink学习笔记:异步I/O访问外部数据
说明:本文为《Flink大数据项目实战》学习笔记,想通过视频系统学习Flink这个最火爆的大数据计算框架的同学,推荐学习CSDN官网课程:Flink大数据项目实战:http://t.cn/ExrHPl9Aysnc I/O1.1Aysnc I/O是啥?Async I/O 是阿里巴巴贡献给社区的一个呼声非常高的特性,于1.2版本引入。主要目的:是为了解决与外部系统交互时...原创 2019-03-22 16:14:11 · 3094 阅读 · 0 评论 -
Flink学习笔记:Operators之Process Function
说明:本文为《Flink大数据项目实战》学习笔记,想通过视频系统学习Flink这个最火爆的大数据计算框架的同学,推荐学习CSDN官网课程:Flink大数据项目实战:http://t.cn/ExrHPl9Process Function1.1分层APIFlink提供三层API. 每个API在简洁性和表达之间提供不同的权衡,并针对不同的用例1.SQL/Table API (dyna...原创 2019-03-22 16:08:40 · 5931 阅读 · 0 评论 -
Flink部署模式
说明:本文为《Flink大数据项目实战》学习笔记,想通过视频系统学习Flink这个最火爆的大数据计算框架的同学,推荐学习CSDN官网课程:Flink大数据项目实战:http://t.cn/ExrHPl9Local 本地部署Flink 可以运行在 Linux、Mac OS X 和 Windows 上。本地模式的安装唯一需要的只是 Java 1.7.x或更高版本,本地运行会启...原创 2019-03-18 16:53:00 · 890 阅读 · 0 评论 -
Flink学习笔记:Connectors之kafka
说明:本文为《Flink大数据项目实战》学习笔记,想通过视频系统学习Flink这个最火爆的大数据计算框架的同学,推荐学习CSDN官网课程:Flink大数据项目实战:http://t.cn/ExrHPl91. Kafka-connector概述及FlinkKafkaConsumer(kafka source)1.1回顾kafka1.最初由Linkedin 开发的分布式消息中间件...原创 2019-03-25 14:53:30 · 4751 阅读 · 0 评论 -
Flink随堂笔记:Connectors概述
说明:本文为《Flink大数据项目实战》学习笔记,想通过视频系统学习Flink这个最火爆的大数据计算框架的同学,推荐学习CSDN官网课程:Flink大数据项目实战:http://t.cn/ExrHPl91. 各种Connector1.1Connector是什么鬼Connectors是数据进出Flink的一套接口和实现,可以实现Flink与各种存储、系统的连接注意:数据进出Fli...原创 2019-03-25 14:43:47 · 769 阅读 · 0 评论 -
大数据舞台中的Flink
说明:本文为《Flink大数据项目实战》学习笔记,想通过视频系统学习Flink这个最火爆的大数据计算框架的同学,推荐学习CSDN官网课程:Flink大数据项目实战:http://t.cn/ExrHPl92014 年 Flink 作为主攻流计算的大数据引擎开始在开源大数据行业内崭露头角。区别于 Storm、Spark Streaming 以及其他流式计算引擎的是:它不仅是一个高吞吐、低...原创 2019-03-13 15:16:36 · 1229 阅读 · 0 评论 -
flink随手笔记之Slot分配与共享
说明:本文为《Flink大数据项目实战》学习笔记,想通过视频系统学习Flink这个最火爆的大数据计算框架的同学,推荐学习CSDN官网课程:Flink大数据项目实战:http://t.cn/ExrHPl9共享Slot默认情况下,Flink 允许subtasks共享slot,条件是它们都来自同一个Job的不同task的subtask。结果可能一个slot持有该job的整个p...原创 2019-03-18 16:02:19 · 16516 阅读 · 4 评论 -
Flink项目学习笔记之——Operators之CoGroup及Join操作
说明:本文为《Flink大数据项目实战》学习笔记,想通过视频系统学习Flink这个最火爆的大数据计算框架的同学,推荐学习CSDN官网课程:Flink大数据项目实战:http://t.cn/ExrHPl9Window CoGroup与Join1.1回顾RDBMS各种join假设有两个表A和B1.CROSS JOIN(AB的笛卡尔积/交叉联接)省略写法为join,由...原创 2019-03-21 17:55:37 · 940 阅读 · 0 评论 -
初识flink
说明:本文为《Flink大数据项目实战》学习笔记,想通过视频系统学习Flink这个最火爆的大数据计算框架的同学,推荐学习CSDN官网课程:Flink大数据项目实战:http://t.cn/ExrHPl9简介ApacheFlink是一个分布式大数据处理引擎,可对有限数据流和无限数据流进行有状态计算。可部署在各种集群环境,对各种大小的数据规模进行快速计算。 ...原创 2019-03-12 15:40:04 · 536 阅读 · 0 评论 -
Flink项目中Window那些事
说明:本文为《Flink大数据项目实战》学习笔记,想通过视频系统学习Flink这个最火爆的大数据计算框架的同学,推荐学习CSDN官网课程:Flink大数据项目实战:http://t.cn/ExrHPl9啥是Window?有啥作用?Flink 认为 Batch 是 Streaming 的一个特例,所以 Flink 底层引擎是一个流式引擎,在上面实现了流处理和批处理。而窗口(wind...原创 2019-03-20 17:29:07 · 1152 阅读 · 0 评论 -
Flink学习笔记Operators串烧
说明:本文为《Flink大数据项目实战》学习笔记,想通过视频系统学习Flink这个最火爆的大数据计算框架的同学,推荐学习CSDN官网课程:Flink大数据项目实战:http://t.cn/ExrHPl9DataStream Transformation1.1 DataStream转换关系上图标识了DataStream不同形态直接的转换关系,也可以看出DataStream主...原创 2019-03-20 17:21:37 · 564 阅读 · 0 评论 -
Flink Runtime笔记
说明:本文为《Flink大数据项目实战》学习笔记,想通过视频系统学习Flink这个最火爆的大数据计算框架的同学,推荐学习CSDN官网课程:Flink大数据项目实战:http://t.cn/ExrHPl91. Flink运行时架构1.1Flink架构Flink 运行时架构主要包含几个部分:Client、JobManager(master节点)和TaskManger(sla...原创 2019-03-15 15:34:31 · 1170 阅读 · 0 评论 -
Flink核心概念与编程模型
说明:本文为《Flink大数据项目实战》学习笔记,想通过视频系统学习Flink这个最火爆的大数据计算框架的同学,推荐学习CSDN官网课程:Flink大数据项目实战:http://t.cn/ExrHPl91. Flink分层架构1.1 Flink生态之核心组件栈大家回顾一下Flink生态圈中的核心组件栈即可,前面已经详细讲过,这里就不再赘叙。1.2 Flink分层架构Fl...原创 2019-03-15 15:20:22 · 518 阅读 · 0 评论 -
Flink学习中——DataSream API笔记
说明:本文为《Flink大数据项目实战》学习笔记,想通过视频系统学习Flink这个最火爆的大数据计算框架的同学,推荐学习CSDN官网课程:Flink大数据项目实战:http://t.cn/ExrHPl91.执行计划GraphFlink 通过Stream API (Batch API同理)开发的应用,底层有四层执行计划,我们首先来看Flink的四层执行计划如下图所示。...原创 2019-03-19 18:00:30 · 398 阅读 · 0 评论 -
Flink API 通用基本概念
说明:本文为《Flink大数据项目实战》学习笔记,想通过视频系统学习Flink这个最火爆的大数据计算框架的同学,推荐学习CSDN官网课程:Flink大数据项目实战:http://t.cn/ExrHPl91. 继续侃Flink编程基本套路DataSet and DataStreamDataSet and DataStream表示Flink app中的分布式数据集。它们包含...原创 2019-03-19 17:52:20 · 450 阅读 · 0 评论 -
Flink和spark的对擂详解
流处理的几个流派在流式计算领域,同一套系统需要同时兼具容错和高性能其实非常难,同时它也是衡量和选择一个系统的标准。4.2Flink VS Spark 之 APISpark与Flink API pk如下所示:Spark与Flink 对开发语言的支持如下所示: Flink VS Spark 之 Connectors Spark 支持的Connectors如下...原创 2019-03-14 14:31:12 · 816 阅读 · 0 评论 -
别懵逼,用户画像其实是这么回事儿
大数据研习社这个社群运营至今,已有QQ群50+,微信群10+,微信/头条/博客多维度覆盖,触及影响的大数据人群20万+。好学君发现,在大数据领域,大家讨论比较多而且“来钱”最快的领域就是用户画像以及个性化推荐这块儿啦。但很多同学又觉得用户画像特别难“搞”,不好落地而且依赖的技术多资源多。好学君本人对用户画像一直处于懵逼状态,偶尔想装X还心底发虚,直到我看到了下面这份资料。这是来自前阿里推荐算法...原创 2019-04-26 16:54:09 · 564 阅读 · 0 评论