项目随笔

ELK（ElasticSearch搜索引擎，logstash日志采集框架，kibana数据分析可视化平台）
ETL（ETL是将业务系统的数据经过抽取、清洗转换之后加载到数据仓库的过程，目的是将企业中的分散、零乱、标准不统一的数据整合到一起，为企业的决策提供分析依据）
BI（Business Intelligence(BI) = Data Warehouse(DW) + OLAP + Data Mining(DM)
商业智能=数据仓库+联机分析+数据挖掘
做BI的目的是帮助用户进行决策分析，从多维的角度来分析现状，给决策者做出正确的决策提供可靠的数据基础与背景，为企业的发展做出正确的导向。
ODS ：操作数据存储（Operation Data Storage）
OLAP:联机分析处理（On-Line Analytical Process）
OLTP：联机事物处理
····················
flume agent中三个组件
source：数据来源接收器
channel：数据下沉之前的缓存池
sink：数据下沉
·························
三台agent，两台收集数据，一台进行汇总
·····························
步骤：
1.配置flume
修改配置文件
tail -f 监听日志文件