华为大数据生态适配地图

FusionInsight MRS 生态地图   FusionInsight_EI企业智能_开发者论坛-华为云论坛FusionInsight MRS 生态地图

FusionInsight_EI企业智能_开发者论坛-华为云论坛

华为云FusionInsight MRS培训系列课程-基础篇_FusionInsight_EI企业智能_华为云论坛

华为hadoop二次开发代码示例

Flink系列课程整体介绍
1、参与过医疗、车联网大数据项目
    大数据平台搭建
    离线和实时数仓开发
    flink开发
2、精通hadoop生态体系
3、精通流式计算开发

阶段：
flink核心功能
第一章： flink入门 ：搭建flink集群、flink基本编程、核心概念
第二章： DataStreamApi使用： souce sink 单流和多流算子 window操作
第三章： 时间语义及状态编程  时间语义，状态，检查点，processFunction
第四章： tableAPI和FlinkSQL  table API FlinkSQL 
第五章： 广播、join,状态一致性、监控、反压、优化 
第六章： FlinkCEP复杂事件处理 模式定义，CEP处理流程、CEP处理迟到数据 

Flink流处理简介：
    1、Flink 
    2、为什么要用flink
    3、流处理的发展与演变
    4、flink的主要特点
    5、Flink vs Spark Streaming 
    
apache flink 是一个框架和分布式处理引擎、用于对无界和有界数据流进行状态计算
flink的应用场景：
    1、电商和市场营销：实时报表、实时推荐、广告投放
    2、物流配送及服务：订单状态跟踪  信息推送 
    3、物联网：实时数据采集 实时报警 
    4、银行和金融业： 实时结算 风险检测 
    
新一代流处理器--flink 
核心特点：
    高吞吐、低延迟
    结果的准确性
    精确一次（exactly-once）的状态一致性
    可以与众多常用存储系统连接
    高可用，支持动态扩展
    
分层API：
    越顶层越抽象，表达含义越简明，使用越方便
    越底层越具体、表达能力越丰富、使用越灵活 
    SQL       最高层语言
    table API     声明式领域专用语言
    datastream/dataset api 核心API
    
    
    

 

huaweicloud-mrs-example/src/spark-examples at mrs-3.1.3 · huaweicloud/huaweicloud-mrs-example · GitHub