《实时数仓入门课程》-flinksql

最新推荐文章于 2024-04-27 13:56:31 发布
最新推荐文章于 2024-04-27 13:56:31 发布
阅读量230 收藏
点赞数
分类专栏： 数据仓库 文章标签： big data 大数据
原文链接：https://developer.aliyun.com/learning/course/807?spm=5176.15088477.J_4051672940.15.6ebe170872KlKd
版权

课程介绍

1.课程名称

《实时数仓入门课程》

2.课程介绍

《实时数仓入门训练营》由阿里云研究员王峰、阿里云高级产品专家刘一鸣等实时计算 Flink 版和 Hologres 的多名技术/产品一线专家齐上阵，合力搭建此次训练营的课程体系，精心打磨课程内容，直击当下同学们所遇到的痛点问题。由浅入深全方位解析实时数仓的架构、场景、以及实操应用，7 门精品课程帮助你 5 天时间从小白成长为大牛！

3.课程目录

【第一课】《实时计算 Flink 版总体介绍》

课程简要：

  • 实时计算 Flink 版产品架构
  • 对比开源 Flink 优势
  • 产品解决方案
  • 标杆客户

主讲嘉宾：王峰（莫问）- 阿里云研究员、实时计算Flink团队负责人

【第二课】《Hologres 总体架构》

课程简要：

  • 数仓架构演进，From  OLAP to HSAP
  • Hologres 架构及原理
  • Lambda 架构如何升级到 Flink + Hologres 实时数仓

主讲嘉宾：金晓军(仙隐）- 阿里云资深技术专家

【第三课】《基于 Flink + Hologres 的实时推荐系统架构解析 》

课程简要：

  • 基于 Flink + Hologres 的实时推荐系统原理
  • 实时推荐系统架构
  • 实时推荐系统实践

主讲嘉宾：秦江杰 - 阿里云高级技术专家

【第四课】《实时数仓助力互联网实时决策和精准营销》

课程简要：

  • 实时数仓演变史
  • 基于 Flink + Hologres 实时数仓推荐架构
  • 营销分析实时数仓实践

主讲嘉宾：刘一鸣（合一）- 阿里云高级产品专家

【第五课】《实时计算 Flink 版 SQL 实践 》

课程简要：

  • Flink SQL 上手示例
  • 开发使用过程中常见的问题和解决方法

主讲嘉宾：李麟（海豹）- 阿里云高级技术专家

【第六课】《Hologres 数据导入/导出实践》

课程简要：

  • Hologres 实时读写接口介绍
  • Flink 读写 Hologres 上手示例
  • 阿里云 Dataworks 读写 Hologres 上手示例

主讲嘉宾：王华峰（继儒）- 阿里云技术专家

【第七课】《Hologres 性能调优实践 》

课程简要：

  • Hologres 建表最佳实践
  • Hologres 常见性能问题分析
  • Hologres 性能优化方案

主讲嘉宾：余骏（清芬）- 阿里云技术专家

4.课程目标

-讲课嘉宾分别讲解 Flink 与 Hologres 的架构与原理，以及数仓架构的演进，再深度解析如何升级到 Flink + Hologres 实时数仓。内容由浅入深，小白也能轻易理解！

-技术专家手把手实操演示，例如 Flink SQL 上手示例，Flink 读写 Hologres 上手示例等；还会将日常开发中可能遇到的各种典型问题都一一解惑，例如开发 Flink SQL 过程中常见问题和解决办法，Hologres 常见性能问题分析等。

-产品专家将从实时数仓演变史，到基于 Flink + Hologres 实时数仓推荐架构，再到营销分析实时数仓实践，全方位讲授如何将实时数仓应用到实践，助力互联网的实时决策和精准营销。

5.适合人群

大数据领域开发者，实时计算 Flink 版、Hologres 的使用者，实时数仓学习者

6.课件视频与PDF搭配学习体验更棒哦～

第一课：实时计算 Flink 版总体介绍：

https://files.alicdn.com/tpsservice/2451c305dfd7a1f6ab1c42e95dd9687a.pdf

第二课：Hologres 总体架构：

https://files.alicdn.com/tpsservice/21ba1b24bf2d1201a2ea36a4cebde9da.pdf

第三课：基于 Apache Flink + Hologres 的实时推荐系统架构解析：

https://files.alicdn.com/tpsservice/189d5e5221ed3f57b8c2a441256b668c.pdf

第四课：实时数仓助力互联网实时决策和精准营销：

https://files.alicdn.com/tpsservice/49d4cd93dadc077e56c241a5ed2693c0.pdf

第五课：实时计算 Flink 版 SQL 实践：

https://files.alicdn.com/tpsservice/58190065f94c8ea6930f09526d3c7eae.pdf

第六课：Hologres 数据导入 导出实践：

https://files.alicdn.com/tpsservice/cf0c200b6d3df83d3b720aa2c5008591.pdf

第七课：Hologres 性能调优实践：

https://files.alicdn.com/tpsservice/bdfb00f330b3d6b4612edaecf250efc7.pdf

实时计算 Flink 版是阿里云基于Apache Flink 构建的企业级、高性能实时大数据处理系统，100%兼容开源 Flink API，让您轻松体验一站式功能，提高作业开发运维效率。

 

javastart
关注
专栏目录
【实时数仓篇】（01）美团 Flink 实时数仓应用_实时数仓建模 美团(1)
2401_84165953的博客
04-27 428
解决原始数据中数据存在噪声、不完整和数据形式不统一的情况。形成规范，统一的数据源。如果可能的化尽可能和离线保持一致。可以通过离线仓库的维度数据，同步到缓存，或者通过公共服务提数据。通过维度服务查询，对用户屏蔽细节。除了数据本身我们会在每条数据上额外补充一些信息，应对实时数据生产环节的一些常见问题。实时数仓工具——数据质量验证。实时数仓工具功能结构体图。
【学习笔记】尚硅谷大数据项目之Flink实时数仓---数据采集
prague6695的博客
07-14 4211
【学习笔记】尚硅谷大数据项目之Flink实时数仓---数据采集
个推TechDay直播回顾 | 分享基于Flink的实时数仓搭建秘诀 附课件下载
个推技术学院
09-05 746
每日互动（个推）资深数据研发工程师为大家详细解读了实时数仓架构演进，分享了实时数仓的技术选型要点，并结合实战案例详细剖析实时数仓搭建秘诀。
轻松通关Flink第05讲：Flink SQL & Table 编程和案例
sucaiwa的博客
03-26 346
我们在前面的课时中讲过 Flink 的分层模型，Flink 自身提供了不同级别的抽象来支持我们开发流式或者批量处理程序，下图描述了 Flink 支持的 4 种不同级别的抽象。Table API和SQL处于最顶端，是 Flink 提供的高级 API 操作。Flink SQL 是 Flink 实时计算为简化计算模型，降低用户使用实时计算门槛而设计的一套符合标准 SQL 语义的开发语言。
大数据培训Flink 简介与认知
weixin_45695430的博客
06-16 272
Flink Logo Flink 项目的理念是：“Apache Flink 是为分布式、高性能、随时可用以及准确的流处理应用程序打造的开源流处理框架”_大数据培训。
Flink实时数仓项目—项目初了解
yunweijie_cn的博客
04-10 4379
Flink实时数仓项目—项目初了解前言一、实时数仓分层介绍1.普通的实时计算与实时数仓比较2.实时电商数仓分层规划二、实时数仓需求概览1.离线计算和实时计算的比较2.实时需求种类2.1 日常统计报表或分析图中需要包含当日部分2.2 实时数据大屏监控2.3 数据预警或提示2.4 实时推荐系统三、数仓架构分析1.离线数仓架构2.实时数仓架构 前言 学习完了Flink1.13，拿个项目练练手。 一、实时数仓分层介绍 1.普通的实时计算与实时数仓比较 普通的实时计算和实时数仓有什么区别？或者说实时数仓为什么要分
实时数仓入门训练营：实时计算 Flink 版 SQL 实践
阿里云云栖号
07-15 1285
简介：《实时数仓入门训练营》由阿里云研究员王峰、阿里云资深技术专家金晓军、阿里云高级产品专家刘一鸣等实时计算 Flink 版和 Hologres 的多名技术/产品一线专家齐上阵，合力搭建此次训练营的课程体系，精心打磨课程内容，直击当下同学们所遇到的痛点问题。由浅入深全方位解析实时数仓的架构、场景、以及实操应用，7 门精品课程帮助你 5 天时间从小白成长为大牛！ 本文整理自直播《实时计算 Flink 版 SQL 实践-李麟（海豹）》 视频链接:https://c.tb.cn/F3.0dBssY 内容简.
干货 Apache Flink 入门技术分享 PPT（多图预警）_flink ppt
最新发布
2401_84159911的博客
04-27 963
在 Spark 的世界观中，一切都是由批次组成的，离线数据是一个大批次，而实时数据是由一个一个无限的小批次组成的。而在 Flink 的世界观中，一切都是由流组成的，离线数据是有界限的流，实时数据是一个没有界限的流，这就是所谓的有界流和无界流。State：状态是计算过程中的数据信息，在容错恢复和 Checkpoint 中有重要的作用，流计算在本质上是Incremental Processing（增量处理），因此需要不断查询保持状态；
实时数仓入门训练营：Hologres性能调优实践
阿里云云栖号
07-19 999
简介：《实时数仓入门训练营》由阿里云研究员王峰、阿里云资深技术专家金晓军、阿里云高级产品专家刘一鸣等实时计算 Flink 版和 Hologres 的多名技术/产品一线专家齐上阵，合力搭建此次训练营的课程体系，精心打磨课程内容，直击当下同学们所遇到的痛点问题。由浅入深全方位解析实时数仓的架构、场景、以及实操应用，7 门精品课程帮助你 5 天时间从小白成长为大牛！ 视频链接:https://developer.aliyun.com/learning/course/807/detail/13889 内容简.
国产开源优秀新一代MPP数据库StarRocks入门之旅-数仓新利器（上）
weixin_45566993的博客
05-13 1034
🚀 优质资源分享 🚀 学习路线指引（点击解锁） 知识定位 人群定位 🧡 Python实战微信订餐小程序 🧡 进阶级 本课程是python flask+微信小程序的完美结合，从项目搭建到腾讯云部署上线，打造一个全栈订餐系统。 💛Python量化交易实战💛 入门级 手把手带你打造一个易扩展、更安全、效率更高的量化交易系统 概述 背景 Apache Doris官方地址 https://doris.apache.org/ Apache Doris GitHub源码地址 https://gi
基于阿里云的海量数据处理数据仓库（实时）实战教程
12-23
本套课程与阿里云大学联合打造，以国内电商巨头实际业务应用场景为依托，以阿里云框架为技术支持，紧跟大数据主流场景，对接企业实际需求，对电商实时数仓的搭建进行了详细讲解。课程内容结合国内多家企业实际项目经验，从框架版本选型、系统架构设计、业务流程设计，手把手带你从零开始完成基于阿里云的实时数仓项目。（版本框架：RDS、DataHub、DTS、实时计算、DataWorks、DataV等）
数据仓库从0-1
11-14
结合当前数仓市场需求授课，整个课程整体从数据仓库搭建开始出发讲解整个大数据体系中如何搭建数据中台，从数据仓库为基础构建延伸出数据管理，数据质量，元数据管理等。 
Flink1.8实时数仓项目实战
08-26
《Flink1.8实时数仓项目实战》课程主要基于Flink**稳定版本进行讲解，课程包含Flink DataSet、容错、Connector、Flink SQL以及实时数仓项目。希望通过本课程的学习，大家能快速掌握Flink 批处理和Flink SQL，并通过实时数仓项目快速积累项目经验。
基于Flink+Doris构建高性能高扩展的全端实时数据仓库教程
06-15
课程总体架构请观看89讲。数据仓库是一个面向主题的、集成的、随时间变化的、但信息本身相对稳定的数据集合，用于对管理决策过程的支持。数据仓库的应用有：1.数据分析、数据挖掘、人工智能、机器学习、风险控制、无人驾驶。2.数据化运营、精准运营。3.广告精准、智能投放等等。数据仓库是伴随着企业信息化发展起来的，在企业信息化的过程中，随着信息化工具的升级和新工具的应用，数据量变的越来越大，数据格式越来越多，决策要求越来越苛刻，数据仓库技术也在不停的发展。数据仓库有两个环节：数据仓库的构建与数据仓库的应用。随着IT技术走向互联网、移动化，数据源变得越来越丰富，在原来业  务数据库的基础上出现了非结构化数据，比如网站log，IoT设备数据，APP埋点数据等，这些数据量比以往结构化的数据大了几个量级，对ETL过程、存储都提出了更高的要求。互联网的在线特性也将业务需求推向了实时化 ，随时根据当前客户行为而调整策略变得越来越常见，比如大促过程中库存管理，运营管理等（即既有中远期策略型，也有短期操作型）。同时公司业务互联网化之后导致同时服务的客户剧增，有些情况人工难以完全处理，这就需要机器 自动决策 。比如欺诈检测和用户审核。总结来看，对数据仓库的需求可以抽象成两方面： 实时产生结果、处理和保存大量异构数据。本课程基于真实热门的互联网电商业务场景为案例讲解，结合分层理论和实战对数仓设计进行详尽的讲解，基于Flink+DorisDB实现真正的实时数仓,数据来及分析,实时报表应用。具体数仓报表应用指标包括：实时大屏分析、流量分析、订单分析、商品分析、商家分析等，数据涵盖全端（PC、移动、小程序）应用，与互联网企业大数据技术同步，让大家能够学到大数据企业级实时数据仓库的实战经验。本课程包含的技术： 开发工具为：IDEA、WebStorm Flink 1.11.3Hadoop 2.7.5Hive 2.2.0ZookeeperKafka 2.1.0、Spring boot 2.0.8.RELEASESpring Cloud Finchley.SR2Flume 、Hbase 2.2.6DorisDB 0.13.9、RedisVUE+jQuery+Ajax+NodeJS+ElementUI+Echarts+Datav等课程亮点： 1.与企业接轨、真实工业界产品2.DorisDB高性能分布式数据库3.大数据热门技术Flink最新版4.真正的实时数仓以及分层设计5.海量数据大屏实时报表6.数据分析涵盖全端（PC、移动、小程序）应用7.主流微服务后端系统8.数据库实时同步解决方案9.涵盖主流前端技术VUE+jQuery+Ajax+NodeJS+ElementUI+Echarts+Datav10.集成SpringCloud实现统一整合方案11.互联网大数据企业热门技术栈12.支持海量数据的实时数仓报表分析13.支持全端实时实时数仓报表分析14.全程代码实操，提供全部代码和资料 15.提供答疑和提供企业技术方案咨询企业一线架构师讲授，代码在老师的指导下企业可以复用，提供企业解决方案。  版权归作者所有，盗版将进行法律维权。 
淘菜菜 （一）：基于Flink和Hologres的实时数仓架构升级之路
aliyunhologres的博客
09-23 9753
阿里淘菜菜（简称TCC）主营社区团购，其在阿里至少历经6年时间，为了更好支持业务发展，淘菜菜也在不断演进其技术架构。
Flink+Hologres亿级用户实时UV精确去重最佳实践
阿里云开发者
06-03 609
简介：Flink+Hologres亿级用户实时UV精确去重最佳实践UV、PV计算，因为业务需求不同，通常会分为两种场景：离线计算场景：以T+1为主，计算历史数据实时计算场景：实时计算日常新增的数据，对用户标签去重针对离线计算场景，Hologres基于RoaringBitmap，提供超高基数的UV计算，只需进行一次最细粒度的预聚合计算，也只生成一份最细粒度的预聚合结果表，就能达到亚秒级查询。具体详情可以参见往期文章>>Hologres如何支持超高基数UV计算(基于RoaringBitmap实现)对
数仓基本知识
ghostyusheng 's blog
03-26 1004
数仓基本知识 概要 以下描述包含我对整个数仓及其概念的简化提炼。适合新手了解相关概念，快速上手，老鸟请绕过。 业界为什么要用“数仓”? 说起数仓，业界为什么要开发数仓的技术？我们有mysql数据库，mongo数据库，业界为什么要推出个”数仓”的技术？ 因为存储，因为查询。 存储： mysql在阿里开500G磁盘空间就将近4w块钱一个月，而且已经达到最大值，如果我们要100个T数据（1T=1024G）,我们还能用mysql数据库吗？不能，怎么办？” 数仓！“ 查询： 众所周知mysql在单表处理上亿的数据，可
基于Flink构建企业级实时数仓（附项目源码）
过往记忆大数据
04-06 2571
离线数仓是大数据技术发展至今最耀眼的明星，然而随着业务需求的不断升级，对于一些延时较高的场景，要把链路延时降低到秒级，就需要基于 Flink 的实时数仓出马了。企业级实时数仓的应用场景很多，比如：实时 OLAP 分析；实时数据看板；实时业务监控；实时数据接口服务。很多公司实时数仓的定义都不同，因为“数仓”在诞生之初，就是围绕离线理念设计的。而实时数仓其实就是离线数仓的时效...
OPPO实时数仓建设：Apache Flink最佳实践
"该文档是关于在OPPO公司中基于Apache Flink构建实时数仓的实践报告，包含了背景介绍、高层设计、最佳实践以及未来工作展望。报告详细阐述了OPPO的移动互联网业务，如主题商店、浏览器、游戏中心等，并提到了数据...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值