基本简介
大数据特点
-
数据量大
-
种类多样
-
结构化:多指关系型数据库中,信用卡号码、日期、财务金额、电话号码、地址
-
半结构化:xml/json
-
非结构化:全文文本、图象、声音、影视、超媒体等信息。
-
-
应用价值高
大数据的作用
-
追溯:日志数据,定位问题;
-
监控:监控服务(可用性,QPS);监控具体业务,比如看双十一销售额;数据质量等等;
-
分析与洞察:toB业务,看板报表搭建;
数据分类
按照数据实效性(延迟情况):
-
离线:在今天(T)处理N天前的数据,常用的是今天处理昨天产出(T-1)的数据,也就是T+1地产出数据,延迟粒度为天
-
准实时:在当前小时,处理N小时前的数据,延迟粒度为小时
-
实时:在当前时刻处理当前的数据,延迟粒度为秒
数据处理链路(不严谨)
暂时无法在飞书文档外展示此内容
-
数据采集:数据的源头,从各种数据源中获取数据。分离线和实时采集,比如通过采集日志数据,实时采集到数据中间件中(mq)。
暂时无法在飞书文档外展示此内容
-
消息队列:Kafka & RocketMq
-
解耦:接口出现问题,不会影响当前功能
-
异步处理:不用所有流程走完再返回结果
-
流量削峰:流量高峰期,可以将数据暂放在消息队列中
-
-
消息代理:eventbus
-
事件总线,构建在消息队列之上的,围绕event构建一条虚拟总线,用户无需关注底层消息队列的细节(比如选型,多少分区,扩容,报警之类的),覆盖消息声明、发布、订阅、运维
-
-
-
数据处理:数据加工处理。
-
离线用hive,(近)实时用flink
-
数据同步:全量、增量同步
-
数据存储:将数据存到数据库中。
-
存储规范:数仓知识;数仓表的设计
数据服务:根据数据做一些应用。
离线处理(批处理)
个人学习路线
->首先接触Hive SQL,感觉和MySQL很像(DDL,DML,DQL语句)。学了一种数据库,其他的类SQL语法差不多。
->学了sqark参数相关的,优化任务执行
->再了解hadoop,spark原理
Hive
flink做流式计算,spark/hive做批式计算
简介:基于Hadoop的数仓管理工具,可以将HDFS
上的文件映射为表结构。
架构
-
元数据存储
-
SQL到MapReduce的转换(sql解析)
注意:存储:hdfs;计算:mapReduce/Spark
Hive sql基础语法
参考:hive中文文档
常用的是创建 天级/小时级别表,分区为date/hour
-- 简单查询语句 select field1, field2 from db.table where date = '${date}' and hour = '${hour}' -- 聚合查询语句 select field1, sum(field2) as field2_alias from db.table where date = '${date}' and hour = '${hour}' group by field1 -- 临时查询 WITH subquery AS ( SELECT col1, col2 FROM db.table1 WHERE condition1 ) SELECT a.col1, a.col2, b.col3 FROM subquery a JOIN db.table2 b ON a.col1 = b.col3 WHERE condition2;
udf用户自定义函数
根据用户需求,自定义写函数处理数据
使用:用Java代码实现udf
step1:添加hive相关依赖
step2:编写udf类:继承UDF,并实现evalute方法
step3:项目编译,打jar包
step4:在hive中注册udf函数,并使用
package com.example; import org.apache.hadoop.hive.ql.exec.UDF; public class MyUDF extends UDF { public String evaluate(String input) { if (input == null) return null; // 在这里编写你的函数逻辑,例如把输入的字符串转成大写 return input.toUpperCase(); } }
Hadoop
分布式系统基础架构(主要是分布式存储和计算框架)
架构
-
存储:hdfs(hadoop distributed file system,分布式文件系统)
-
计算:mapReduce。将计算任务拆成map和reduce两个阶段,实际分成Map、Sort、Combine、Shuffle 以及Reduce 5个步骤
-
资源调度管理:yarn(cpu和memory)
Hadoop常用命令
Hadoop提供了shell命令来与hdfs交互:
hadoop fs -ls <path>:列出指定 HDFS 路径下的文件和目录 hadoop fs -mkdir <path>:在 HDFS 中创建新目录,类似于 Unix 的 mkdir 命令。 hadoop fs -put <localsrc> <dst>:将本地文件(或目录)复制到 HDFS,这与 FTP 命令 put 类似。 hadoop fs -get <src> <localdst>:将 HDFS 上的文件(或目录)复制到本地,这与 FTP 命令 get 类似。 hadoop fs -mv <src> <dst>:移动 HDFS 中的文件或目录,相当于 Unix 的 mv 命令。 hadoop fs -cp <src> <dst>:复制 HDFS 中的文件或目录,相当于 Unix 的 cp 命令。 hadoop fs -rm <path>:删除 HDFS 中的文件,类似于 Unix 的 rm 命令。 hadoop fs -cat <path>:在控制台显示 HDFS 文件的内容,类似于 Unix 的 cat 命令。 hadoop fs -du <path>:显示 HDFS 文件或目录的大小,类似于 Unix 的 du 命令。 hadoop fs -df <path>:显示 HDFS 的可用空间,类似于 Unix 的 df 命令
Spark
架构
使用成百上千台机器 并行处理 存储在离线表中的海量数据。海量数据的任务,拆成小任务,并发到每一台机器上处理。
计算引擎,支持离线(批)处理、流式
部署:可以继承到hadoop yarn上运行,也可以单独部署(目前只用过前者)
支持spark sql:变体的hive sql
性能比较:计算比mapReduce快
Spark sql基础语法
python的pyspark使用
-
启动一个spark client
-
查出你想要的数据
-
编写处理数据的逻辑并执行任务
from pyspark.sql import SparkSession from pyspark import SparkConf conf = SparkConf() conf.setMaster('yarn') conf.setAppName('hive_sql_query') spark = SparkSession \ .builder \ .config(conf=conf) \ .enableHiveSupport() \ .config("", "") \ .config("", "") \ .getOrCreate() # 查询语句 df = spark.sql("select field1 AS f1, field2 as f2 from table1")
Spark参数
master和worker
定义:物理节点
master节点常驻master守护进程,负责管理worker节点,我们从master节点提交应用。
worker节点常驻worker守护进程,与master节点通信,并且管理executor进程。
引用csdn链接:https://blog.csdn.net/hongmofang10/article/details/84587262?utm_source=app&app_version=4.15.2
driver和executor
driver:可运行在master/worker上;
作用:
-
main函数,构建SparkContext对象;
-
向集群申请spark所需要资源,也就是executor,然后集群管理者会根据spark应用所设置的参数在各个worker上分配一定数量的executor,每个executor都占用一定数量的cpu和memory;
-
然后开始调度、执行应用代码
executor:可运行在worker上(1:n)
作用:每个executor持有一个线程池,每个线程可以执行一个task,executor执行完task以后将结果返回给driver。
常用参数
分配资源 内存参数 --每个execotr分配几个核心 set spark.executor.cores=4; --executor内存 set spark.executor.memory= 20g; --executor堆外内存 set spark.executor.memoryOverhead = 10g; --driver内存 set spark.driver.memory=25g; --driver堆外内存 set spark.driver.memoryOverhead = 10g; --任务推测机制相关 --开启推测机制(处理慢任务,尝试在其他节点去重启这些任务;加速整个应用的执行) set spark.speculation=true; -- 设置阈值 spark.speculation.multiplier=1.8 -- 设置分位数 spark.speculation..quantile=0.7 --坏节点黑明单(处理可能导致任务频繁失败的故障节点,当一个节点被列入黑名单后,Spark 调度器将不再在这个节点上调度任务,从而提高了作业的成功率和整体性能) set spark.blacklist.enabled = true 调整shuffle,数据倾斜,内存OOM,超时相关的,根据具体任务使用具体参数
在线处理(流式处理)
Flink
计算模式:流批一体
批计算:统一收集数据,存储到数据库中,然后对数据进行批量处理(离线计算)
流计算:对数据流进行实时处理(实时计算)
架构
三层架构:
-
API & Libraries层:提供了支持流计算DataStream API和和批计算DataSet API的接口
还有提供基于流处理的CEP(复杂事件处理库)、SQL&Table库和基于批处理的FlinkML(机器学习库)、Gelly(图处理库)等
-
Runtime核心层:负责对上层不同接口提供基础服务,也是Flink分布式计算框架的核心实现层,支持分布式Stream作业的执行、JobGraph到ExecutionGraph的映射转换、任务调度等。
-
物理部署层:该层主要涉及Flink的部署模式,目前Flink支持多种部署模式:本地、集群(Standalone/YARN)
图片引用:https://blog.csdn.net/qq_35423154/article/details/113775546
运行时组件(任务调度)
4个组件(application url)
-
JobManager(任务管理器)
-
TaskManager(作业管理器)
-
ResourceManger(资源管理器)
-
Dispatcher(分发器)
Flink sql基本语法
参考:flink中文文档
定义一个source,数据从哪里输入;定义一个sink,数据输出到哪里
create table data_source ( `user_id` string, `data` string) with ( 'connector' = 'rocketmq', 'scan.startup-mode' = 'latest', 'cluster' = '', 'topic' = '', 'group' = '', 'format' ='json', 'parallelism' = ‘9’ ); create table sink( user_id varchar, vv_cnt varchar, `start_window` TIMESTAMP, `end_window` TIMESTAMP ) with ( 'connector' = 'kafka-0.10', 'scan.startup.mode' = 'latest-offset', 'properties.cluster' = '', 'topic' = '', 'parallelism' = '5', 'format' ='json' ); INSERT INTO sink SELECT xx FROM feature_data_source where xx GROUP BY xx;
窗口计算
-
滚动窗口
-
滑动窗口
udf用户自定义函数
一些复杂的逻辑用户可以自定义处理
scalar function:输入,输出为标量
aggregation function:多行数据聚合成一行
table function:
数仓知识
数仓分层
将数据有序组织和存储起来,常见的数仓层级划分:
-
ODS层(数据引用层,operational data store):存放未经处理的原始数据,是数仓的数据准备区。
-
CDM层(数据公共层,common data model):完成数据加工与整合,是数仓最核心最关键的一层。
-
DIM(维度层):以维度作为建模驱动
-
DWD层(数据明细层):以业务过程作为建模驱动
-
常见的业务域:产商品域(产品product,商品goods,配置报价quote,合同contract),交易计费域(订单order,计量measure,计费billing,履约perform,票税invoice)
-
-
DWS层(数据汇总层):以业务主题作为建模驱动,根据DWD层数据,以各维度ID进行粗粒度汇总
-
-
ADS层(数据应用层,application data service):保存结果数据,为外部系统提供查询接口
其他分层结构
引用:知乎https://zhuanlan.zhihu.com/p/421081877
表命名规范
层名 | 命名规范 | 举例 |
dwd | {层缩写}_{业务板块}_{数据域缩写}_{自定义表命名标签缩写}_{加载方式,天级/小时级,增量/全量} | dwd_sale_trd_item_di 交易信息事实增量表 |
dws | {层缩写}_{业务板块}_{数据域缩写}_{自定义表命名标签缩写}_{统计时间周期范围缩写} | dwd_sale_trd_item_1h 交易信息事实1h增量表 |
总结
这部分学习,是边用边学,遇到问题就针对性地解决这个问题。这个过程学的很零散,需要定期将这些点连成线