Frist day
工具
vmware15
Linux centos7.5
Hadhoop3.2.1
Hive3.1.2
SpringBoot
Echart
zk3.4.5
架构
- 编码[内存]
- 磁盘(textfile xml json)
- RDBMS(mysql oracle)
- 分布式、集群 (nosql)
- Hadhoop
数仓架构
离线:批计算——攒了一批数据、计算一次
- 数据来源
(1)业务数据【RDBMS】
(2)行为数据【行为日志】
(3)爬虫数据【api】
(4)第三方交易【api】 - 数据采集
(1)mr
(2)spark
(3)flink
3.数仓搭建
(1)Hive
4.业务流程
实时:流计算——来一次计算一次
1.数据来源
(1)业务数据【