![](https://img-blog.csdnimg.cn/20201014180756922.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
数据分析
文章平均质量分 92
大数据研习社
「大数据研习社」号主,实战大数据(Hadoop+Spark+Flink)作者,从Java开发到大数据开发13年。微信:dashuju_2017,加好友备注CSDN。
展开
-
【数仓大全】传统数仓、大数据数仓、离线数仓、实时数仓、数仓Lambda架构、Kappa架构、数据湖
数仓架构演变(场景驱动)离线大数据架构典型案例离线数仓分层离线大数据架构典型案例Lambda架构Lambda架构进一步理解Lambda架构典型案例Lambda架构典型案例(有赞广告团,基于Druid)Lambda架构存在的问题Kappa架构Kappa架构典型案例Kappa架构典型案例(以Kylin...原创 2019-10-22 10:58:45 · 3818 阅读 · 1 评论 -
Apache Flink 漫谈系列(08) - SQL概览
SQL简述SQL是Structured Query Language的缩写,最初是由美国计算机科学家Donald D. Chamberlin和Raymond F. Boyce在20世纪70年代早期从Early History of SQL中了解关系模型后在IBM开发的。该版本最初称为[SEQUEL: A Structured English Query Language](结构化英语查询语...转载 2019-04-25 16:32:20 · 384 阅读 · 0 评论 -
月薪3万+的大数据人都在疯学Flink,为什么?
身处大数据圈近5年了,在我的概念里一直认为大数据最牛的两个东西是Hadoop和Spark。18年下半年的时候,我突然发现身边很多大数据牛人都是研究学习Flink,甚至连Spark都大有被冷落抛弃的感觉。何以至此,Flink是个什么鬼?Apache Flink(简称Flink)是一个分布式大数据处理引擎,可对有限数据流和无限数据流进行有状态计算。可部署在各种集群环境,对各种大小的数据规模进...原创 2019-04-04 11:57:37 · 682 阅读 · 0 评论 -
Flink学习笔记:Operators之Process Function
说明:本文为《Flink大数据项目实战》学习笔记,想通过视频系统学习Flink这个最火爆的大数据计算框架的同学,推荐学习CSDN官网课程:Flink大数据项目实战:http://t.cn/ExrHPl9Process Function1.1分层APIFlink提供三层API. 每个API在简洁性和表达之间提供不同的权衡,并针对不同的用例1.SQL/Table API (dyna...原创 2019-03-22 16:08:40 · 5916 阅读 · 0 评论 -
Flink学习笔记:Connectors之kafka
说明:本文为《Flink大数据项目实战》学习笔记,想通过视频系统学习Flink这个最火爆的大数据计算框架的同学,推荐学习CSDN官网课程:Flink大数据项目实战:http://t.cn/ExrHPl91. Kafka-connector概述及FlinkKafkaConsumer(kafka source)1.1回顾kafka1.最初由Linkedin 开发的分布式消息中间件...原创 2019-03-25 14:53:30 · 4725 阅读 · 0 评论 -
Flink随堂笔记:Connectors概述
说明:本文为《Flink大数据项目实战》学习笔记,想通过视频系统学习Flink这个最火爆的大数据计算框架的同学,推荐学习CSDN官网课程:Flink大数据项目实战:http://t.cn/ExrHPl91. 各种Connector1.1Connector是什么鬼Connectors是数据进出Flink的一套接口和实现,可以实现Flink与各种存储、系统的连接注意:数据进出Fli...原创 2019-03-25 14:43:47 · 739 阅读 · 0 评论 -
Flink项目中Window那些事
说明:本文为《Flink大数据项目实战》学习笔记,想通过视频系统学习Flink这个最火爆的大数据计算框架的同学,推荐学习CSDN官网课程:Flink大数据项目实战:http://t.cn/ExrHPl9啥是Window?有啥作用?Flink 认为 Batch 是 Streaming 的一个特例,所以 Flink 底层引擎是一个流式引擎,在上面实现了流处理和批处理。而窗口(wind...原创 2019-03-20 17:29:07 · 1136 阅读 · 0 评论 -
Flink学习笔记Operators串烧
说明:本文为《Flink大数据项目实战》学习笔记,想通过视频系统学习Flink这个最火爆的大数据计算框架的同学,推荐学习CSDN官网课程:Flink大数据项目实战:http://t.cn/ExrHPl9DataStream Transformation1.1 DataStream转换关系上图标识了DataStream不同形态直接的转换关系,也可以看出DataStream主...原创 2019-03-20 17:21:37 · 552 阅读 · 0 评论 -
Flink学习中——DataSream API笔记
说明:本文为《Flink大数据项目实战》学习笔记,想通过视频系统学习Flink这个最火爆的大数据计算框架的同学,推荐学习CSDN官网课程:Flink大数据项目实战:http://t.cn/ExrHPl91.执行计划GraphFlink 通过Stream API (Batch API同理)开发的应用,底层有四层执行计划,我们首先来看Flink的四层执行计划如下图所示。...原创 2019-03-19 18:00:30 · 391 阅读 · 0 评论 -
大数据职业规划的N种正确姿势
数据相关的职业,大致有3种职业路线,分别是市场调研方向、数据分析/挖掘方向、数据工程师方向,这3条路线,分别有对应的公司和技能树。 “不少朋友 非数学/计算机/统计学 专业毕业的朋友走的是这个方向,数据相关,非技术路线,更偏向于市场方向,对技术的要求只是Excel、PPT,最多要求SPSS,很少要求会写SQL。这条路线看起来比较高大上,可以走外企路线。”转载 2017-04-18 14:29:45 · 11485 阅读 · 1 评论 -
【Python精华】100个Python练手小程序
100个Python练手小程序,学习python的很好的资料,覆盖了python中的每一部分,可以边学习边练习,更容易掌握python。【程序1】 题目:有1、2、3、4个数字,能组成多少个互不相同且无重复数字的三位数?都是多少? 1.程序分析:可填在百位、十位、个位的数字都是1、2、3、4。组成所有的排列后再去 掉不满足条件的排列。 2.程序源代码:for i ...原创 2017-03-24 16:34:51 · 236260 阅读 · 49 评论