分享
小晨说数据
5年大数据开发经验，主要从事spark和flink开发，目前就职于某互联网企业从事大数据开发工作。
展开
-
原创|实时数仓实战项目-第二节（数仓分层）
马上就要到中秋节了，提前祝大家中秋节快乐，最近比较忙，考虑到粉丝一直要求我更新文章，我今天就加班更新一下文章。实时数仓如何做数据分层我不喜欢搞什么花里胡哨的词汇，让粉丝听着挠头，我就想用大...转载 2021-09-18 11:37:17 · 866 阅读 · 0 评论 -
原创|实时数仓实战项目-第一节
谢绝广告，从我做起为了营造良好的学习环境，本公众号谢绝一切教育媒体的广告投放！！！业务需求场景介绍第一，实时报表数据。想要搭建好的实时数仓，需要你足够的了解业务，知道业务想看什么数据，可能...转载 2021-09-16 08:00:00 · 346 阅读 · 0 评论 -
原创|实时数仓实战项目-第三节（数仓治理）
马上就要到国庆节了，提前祝大家国庆快乐，最近比较忙，考虑到粉丝一直要求我更新文章，我今天就加班更新一下文章。实时数仓如何做数据治理在做技术分享之前，我就尽量画图，少写字，最好能让大家看一天...转载 2021-09-26 10:14:58 · 417 阅读 · 0 评论 -
浅谈Doris和Flink在广告实时数仓中的实践
1.Doris简介▍1.1 简介Apache Doris是一个现代化的MPP分析型数据库产品。仅需亚秒级响应时间即可获得查询结果，有效地支持实时数据分析。Apache Doris的分布式架构非常简洁，易于运维，并且可以支持10PB以上的超大数据集。Apache Doris可以满足多种数据分析需求，例如固定历史报表，实时数据分析，交互式数据分析和探索式数据分析等。令您的数据分析工作更加简单高效！▍1.2 架构想要了解更多doris，可以去官网学习Apache Doris..原创 2020-10-30 12:34:24 · 1009 阅读 · 0 评论 -
2020年最新大数据面试题，你都会吗？
关注上方“小晨说数据”，一起学习，一起进步！1、怎么定位数据倾斜，真实场景！2、多个shuffle算子 怎么确定那个算子产生的数据倾斜3、作业的监控 我的作业正常10000条，一会变成...原创 2020-04-04 11:36:47 · 4055 阅读 · 1 评论 -
《第二篇》快学flink-实时读取kafka
目录准备环境idea本地zookeeper搭建本地kafka搭建启动kafka添加topic编写flink读取kafka的代码准备环境idea这个在第一篇已经讲过了，不明白的可以问我微信：weixin605405145本地zookeeper搭建我的电脑是mac电脑，非常方便，废话不多说，直接来搞安装很简单，不懂得，可以网上查查资料，很多，搞个单机版的就行，然后解压就行了解压完成，...原创 2020-03-28 21:18:20 · 496 阅读 · 0 评论 -
《第一篇》快学Flink-实时读取socket
准备环境idea开发工具创建项目选择mavn创建项目名称添加pom依赖<?xml version="1.0" encoding="UTF-8"?><project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-ins...原创 2020-03-28 19:46:49 · 1073 阅读 · 0 评论 -
实战：flink实时数仓双流join
业务场景我的实时订单流想要关联另一个流的维度数据，我们该如何设计。•A流：订单流，从binlog中获取下单数据，缺点是，表内维度数据缺少经纬度信息（举例）。•B流：用户流量信息，保存用户...原创 2020-03-07 14:05:43 · 2539 阅读 · 1 评论 -
Flink实时计算大促压测实践
一、背景：临近双11大促，为避免流量峰值较高，电商公司都会对系统进行压测。一直做实时数据计算，应用是基于Flink做的，接收kafka消息，进行数据统计，包括：pv、uv、dau、单量、成交额等等。为了保证应用在大促期间不出问题，需要进行实时计算程序进行压测。由于统计的数据分为两类(流量数据、订单数据)，对这两类数据进行不同方式的压测。二、压测准备(1)压测时间选择：一般...原创 2019-11-10 14:58:54 · 1270 阅读 · 0 评论 -
Flink源码第二篇：Flink之WordCount运行流程
Flink启动jobbin/flink run examples/streaming/SocketWindowWordCount.jar --port 9000 nc -l 9000Job执行流程先看一下Flink内部调度流程目前这个代码没有涉及水位watermark 并行度设置了1，每个并行度都会维护自己的水位，后边文章我会拿代码给家验证。时...原创 2019-11-07 15:24:00 · 525 阅读 · 0 评论 -
Flink源码第一篇：Flink之Job启动流程
Flink启动Job$ ./bin/flink run examples/streaming/SocketWindowWordCount.jar先看一下flink脚本内部调度流程cat flink大家可以看到flink内部执行流程 初始化config 调用CliFrontend CliFrontend类目录：package or...原创 2019-11-06 21:39:44 · 1260 阅读 · 0 评论 -
Flink面试题梳理
公众号：小晨说数据微信：weixin605405145基础1.Flink计算单位是什么？2.Flink时间类型有那些，他们有什么区别？3.Flink窗口类型有哪些，你们目前用的什么窗口？4.Flink的状态你们有没有用过，用的什么类型的状态？5.Flink如何处理延迟数据？6.Flink中managed state和raw state区别？7.Flink的keystate有什...原创 2019-10-30 21:25:57 · 15255 阅读 · 0 评论 -
Flink根据配置实时计算热门商品TopN
通过本文你将学到：1.如何通过Broadcast广播的形式，关联配置文件2如何使用 Flink 灵活的 Window API3.何时需要用到 State，以及如何使用4.如何使用 ProcessFunction 实现 TopN 功能业务场景实时根据运营人员前端配置的商品id，监控商品id在黄金广告位最近一小时销量的销量情况，发现销量差的商品id及时下线调整，发现销量好的...原创 2019-10-15 08:23:00 · 1031 阅读 · 0 评论 -
Flink统计电商ICON导航流量实战
写完这篇文章，已经是晚上23:57，靠文章深夜买醉?哈哈背景众所周知，各大电商app在首页都会设置"金刚区"，而金刚区可以算是流量中的“黄金位置”，乃至“钻石位置”。下图是某电商app的首页截图，其金刚由10大导航icon组成，其集团内业务板块众多，金刚区icon数量有限，因此icon的取舍需要靠数据评估。今天我就拿这个来做一个模拟实战——用一个指标来评估这个icon的点击情况，从...原创 2019-09-14 16:10:57 · 709 阅读 · 0 评论 -
《高级》Flink实时监控用户session轨迹触发推荐
背景这几天看到Flink学习群问了一个问题，就是他们想实时监控用户session行为轨迹，如果当前session下用户点击了A事件，1小时内用户没有点击B事件，实时流输出C事件拿电商页面举例子Flink相关知识点1:flink状态，由于按session聚合，需要使用keyby+process函数2:通过flink的KeyedProcessFunction内部实现状态管理3:然...原创 2019-08-29 14:58:30 · 742 阅读 · 0 评论 -
Flink广播状态实战——设备异常报警
背景：昨天，收到一个网友的咨询： 他们想要实时监控网络攻击请求——即如何让一个实时的请求日志同mysql表（监控规则）中数据进行匹配，且mysql表是可以动态配置呢？ 如果匹配成功之后，还需再添加一个字段（从mysql中取），输出数据到kafka，然后用报表展示明细数据，报告给安全部门同事。听到这个需求的我，第一反应是↑↑↑但是，做大数据的男人怎...原创 2019-08-14 18:21:17 · 1168 阅读 · 1 评论 -
阿里flink电话面试题
一个应届生面试经历，分享给大家第一题：hashmap源码学习资料，地铁上没事看看：https://blog.csdn.net/johnf_nash/article/details/74012201第二题:红黑树给你一个链接有空去看：https://blog.csdn.net/qq_41786318/article/details/79486821第三题：一致性哈希算法给你一...原创 2019-08-05 20:52:31 · 1971 阅读 · 0 评论