记录一下大数据学习day1

413上午
序章
课程介绍概述、前提知识需求

第一章    实时流处理
2-5        离线与实时区分
2-7        实时流处理架构（实时数据流的走向流程图）

413下午
第二章    Flume框架(分布式日志收集框架)
3-2        业务现状分析
3-3        Flume框架概述
目的：收集，聚合，移动
作用：做日志收集
数据流向：webserver(源端)->flume->HDFS(目的地)
    Tips: HDFS意为Hadoop分布式文件系统
    
同类产品框架对比：
(***)Flume:Cloudera/Apache Java
Scribe:Facebook C/C++ 不再维护
Chukwa:Yahoo/Apache Java 不再维护
Kafka:消息队列，用来实现数据缓冲
Fluentd:类似于Flume，用Ruby语言开发的，支持跨平台
(***)Logstash:ELK（ElasticSearch,Kibana）,图形化展示工具,支持很多报表，可用于数据采集
    Tips:标***是推荐使用的用于日志采集的框架
    
Flume发展史：
Cloudera 0.9.2 flume-OG(Old Generation)
flume-728 flume-NG(New Generation)->Apache
2012.7    1.0
2015.5    1.6    (*** version+)
~        1.7
    Tips:关于Flume的更多学习可以参考官网：https://flume.apache.org
    
3-4        Flume架构和核心
webserver(源端)->flume->HDFS(目的地)
其中flume细节：source(用于收集)->channel(用于聚集)->sink(用于输出)
    Source:Avro...,Thrift...,Spooling Directory...,NetCat...,Kafka...
    Channel:Memory...,JDBC...,Kafka...,...,Custom...
    Sink:HDFS...,Hive...,Logger...,Avro...,HBase...,Kafka...,...,Custom...
    Tips：关于source可参考：https://flume.apache.org/releases/content/1.9.0/FlumeUserGuide.html