flume理论+配置文件+连接HDFS+hive+hbase+拦截器+高可用
数据来源
Nginx+tomcat架构图
大数据的数据来源从哪
ive(数据仓库),–>mysql数据库;数据库的记录存储的是最近的记录(1亿,1个月,1周,1天),之前的数据要先备份到数据仓库,然后要清理掉(mysql),
日志:日记历史(先清理日志这个操作很low–不可取);log4j2;
两手准备:
数据库中的表有做记录;(是最近的数据)
日志:格式,我们自己定(文件)
...
原创
2019-03-29 19:23:46 ·
1294 阅读 ·
1 评论