大数据学习

大数据实时流处理识别结果  监控日志中实时的威胁行为
flume 采集数据  source ->channl ->sink 是一个agent   数据是一个event结构 head和body    
flink和spark流处理  所有的大数据的云计算能力，必须跟机器有关，内存大小和集群大小决定处理能力、
MapReduce、Spark只支持批处理任务  flink，Storm支持流处理任务  
flink和spark基于内存！！！   MapReduce基于硬盘运算    HBASE，HDFS分布式存储  YARN集群管理  sprakc支持交互式查询
流处理：实时要求高，只知道边界，不知道多久结束。  批处理：是一个文件或者excel，是一段时间的数据
 

项目实时输出处理 udp->flume->kafak->flink,spark->es