大数据
文章平均质量分 50
星辰_mya
好好学习,天天向上
展开
-
ShardingSphere啦啦啦
N年前写的。原创 2024-03-22 21:27:30 · 307 阅读 · 0 评论 -
flink-拉钩教育-颗粒归仓-待续
大数据实时计算领域 流式及批量分析应用:数据实时采集、计算和下游发送实时数据仓库和ETL(extract transform load)核心概念streams:有界流(固定大小的数据),无界流(随时间增加而增长)state:进行流式计算过程中的信息time:event time、ingestion time、processing time,判断业务状态是否滞后、延迟的依据api:不同抽象级别支持开发流式或批处理程序算子链:多个算子放在一个任务中,由同一个线程执行,...原创 2020-07-14 18:17:02 · 207 阅读 · 0 评论 -
extract-transform-load
ETL将数据经过抽取extract、转换transform、加载load 到数据仓库数据清洗转换: 清洗:即过滤,过滤什么呐?肯定不能把好的、符合要求的数据滤掉,过滤完不符合要求的数据后,交给相关部分确认是否对对口再接着往下抽取 那什么是不符合要求的数据: 不完整:应该有的你没有,那怎么能行,补上! ...原创 2020-02-04 00:02:53 · 723 阅读 · 0 评论