这里记录过去一周,大数据相关值得分享的东西,每周日发布。
今天尝试写第 4 期,记录过去一周一点所见所闻。
图片
文章
Flink 在 1.9 改进了很多功能,并且集成了 Hive,优化了流、批处理等等。
之前上学的时候有一个梗,说在食堂里吃饭,吃完把餐盘端走清理的是 C++ 程序员,吃完直接就走的是 Java 程序员。确实,在 Java 的世界里,似乎我们不用对垃圾回收那么的关注。很多初学者不懂 GC,也能写出一个能用甚至还不错的程序或系统。但其实这并不代表 Java 的 GC 就不重要。相反,它是那么的重要和复杂,以至于出了问题,那些初学者除了打开 GC 日志,看着一堆0101的天文,啥也做不了。今天,新零售技术事业群的率鸽(花名)就从头到尾,完整地聊一聊 Java 的垃圾回收。
阅读RFC2616认真学习一遍HTTP/1.1协议,一直认为要做互联网开发的话,一定要对于HTTP协议烂熟于胸,于是下定决心要将这个协议好好理解一遍。这两天,工作之余,拿着RFC就在那里读,对于HTTP协议有了不错的理解,对于其中的字段与机制有了一定的理解,于是静下心来,好好总结一下这两天的阅读收获,同时也是一个回顾复习。
4、Flink 1.9 实战:使用 SQL 读取 Kafka 并写入 MySQL
演示代码已经开源到了 GitHub 上:https://github.com/wuchong/flink-sql-submit
这份代码主要由两部分组成:1) 能用来提交 SQL 文件的 SqlSubmit 实现。2) 用于演示的 SQL 示例、Kafka 启动停止脚本、 一份测试数据集、Kafka 数据源生成器。
通过本实战,你将学到:
- 如何使用 Blink Planner
- 一个简单的 SqlSubmit 是如何实现的
- 如何用 DDL 创建一个 Kafka 源表和 MySQL 结果表
- 运行一个从 Kafka 读取数据,计算 PVUV,并写入 MySQL 的作业
- 设置调优参数,观察对作业的影响
5、电商推荐那点事
- 推荐概述
- 好的推荐产品
- 几大挑战(用户、物品、系统、冷启动…)
- 模块与架构
- 召回及排序
“随着维度数目的增加,Cuboid 的数量会爆炸式地增长。为了缓解 Cube 的构建压力,Apache Kylin 引入了一系列的高级设置,帮助用户筛选出真正需要的 Cuboid。这些高级设置包括聚合组(Aggregation Group)、联合维度(Joint Dimension)、层级维度(Hierachy Dimension)和必要维度(Mandatory Dimension)等。”
资源
本文档列出了HTTP/1.1协议中定义的所有消息头,并提供了简短的描述。在列表中,头的名称是到协议本身中定义的链接。
公众号回台回复:flink-sz
订阅
本专栏也会定期同步到公众号和知识星球,欢迎订阅。直接扫码或者微信搜索大数据学习指南
(完)