Flume简介

			 **为什么使用flume???**

Nginx+tomcat架构图
sp–>servlet(controller)–Service–>dao–>db
大数据的数据来源从哪
Hive(数据仓库),–>mysql数据库;数据库的记录存储的是最近的记录(1亿,1个月,1周,1天),之前的数据要先备份到数据仓库,然后要清理掉(mysql),
日志:日记历史(system.out.println日志这个操作很low–不可取);log4j2
订单表(存储的是最新的,不能把所有的历史给存储了)

Id 状态(0:下单,1:确认,2:未支付,3:已支付,4:支付失败,5:已发货,6:已收货
1 6

创建一张历史表:
Id 订单id 状态 时间
1 1 0 2018-11-11
1 1 1 2018-11-12
1 1 2 2018-11-13
订单表和历史表是一对多的关系;(忽然双11,双12,购物节),订单表的记录会超级多(比如1亿,历史表的记录会多少:1亿*10);要清理;
两手准备:
数据库中的表有做记录;(是最近的数据)
日志:格式,我们自己定(文件)
!](https://img-blog.csdnimg.cn/20200716165351907.png)

大数据所需要的数据来源日志部分是分散的;进行大数据运算和统计需要把分散的日志合并到一个地方(hdfs);
Log4j:一天一个日志文件吗?