大数据收集层常用技术-Sqoop、Flume、Kafka

• Sqoop：关系型数据收集

使用场景：数据迁移、可视化分析结果、数据增量导入

基本架构：存在两个版本，1.4.x和1.99.x，通常简称为sqoop1和sqoop2

sqoop1:Connector定制麻烦、客户端软件繁多、安全性差

sqoop2：引入了sqoop server，将所有管理工作都放到server端，用户可以通过客户端命令或者浏览器随时随处使用sqoop。

使用方式：sqoop1：import（将关系型数据导入到HDFS）、export（将HDFS导出到关系型数据库）

sqoop2：Connector（访问某事数据源的组件）、link：一个Connector实例、job：完成数据迁移功能的分布式作业，简称：To link,可通过sqoop.sh client 进入Sqoop2提供的shell命令行。

• Flume：非关系型数据的收集

Flume采用了插拨式软件架构，所有组件均是可插拔的，用户可以根据自己的需要定制每个组件，具体以下特点：良好的扩展性、高度定制化、声明式动态化配置、语意路由、良好的可靠性。

Flume NG基本架构：

数据流是通过一系列称为Agent的组件沟通，从客户端前一个Agent接收数据，经过过滤、路由等操作后，传递给下一个或者多个Agent（完全分布式），直到抵达目标系统。

Flume将数据流水线传递的数据称为Event，每个Event由头部和字节数组两部分构成。

Agent：主要由三个组件组成：

Source（接收Avro、Thrift、Exec、Spooling Directory、Kafka、Syslog、Http等 以上source协议发来的数据写入channel）。

Channel(是一个数据缓存区，暂存Source写入的Event，直到被Sink发送出去，主要提供了一下几种channel实现，Memory、File、JDBC、kafka)。

Sink（负责从channel读取数据，并发送给喜爱个Agent的source，主要提供一下几种sink实现，HDFS、Hbase、Avro/Thrift、MorphlineSolrSink/ElasticSearchSink、Kafka eg：使用kafka Sink写入到对应的kafka中）

Agent高级组件：Interceptor（允许用户修改或删掉传输过程中的Event）、Channel Selector（将event选择写入那几个channel）

其它感念： Apache Avro是一个数据序列化系统。

Avro所提供的属性：

1.丰富的数据结构

2.使用快速的压缩二进制数据格式

3.提供容器文件用于持久化数据

4.远程过程调用RPC

5.简单的动态语言结合功能，Avro 和动态语言结合后，读写数据文件和使用 RPC 协议都不需要生成代码，而代码生成作为一种可选的优化只值得在静态类型语言中实现。

• 分布式消息队列Kafka

特点：高性能、良好的扩展性、数据持久性

基本架构：由Producer、Broker、Consumer三类组件构成，Producer将数据写入Broker，Consumer从Broker上读取数据进行处理，Borker构成了连接Producer和Cousumer的缓冲区，多个Broker构成一个可靠的分布式消息存储系统，避免数据dou失。Broker中的消息被划分为若干个topic，同属一个topic的所有数据按照某种策略被分成多个partition，以实现负载分摊和数据并行处理。

Kafka各组件：

1. Kafka Producer：producer将数据转化成“消息”，并通过网络发送给Broker，格式：<topic，key，message>
2. Kafka Broker：Broker一般有多个，组成一个分布式高容错集群，Broker主要职责是接受Producer和Consumer的请求，并把消息持久化到本地磁盘。Broker以topic为单位将消息分成不同的分区（partition）每个分区可以有多个副本，通过数据沉余的方式实现容错，当partition存在多个副本是，其中一个是leader，对外提供读写请求，其他均为follower，不对外提供服务，只同步leader的数据，并在leader故障是将其中一个follower选举为leader。

Kafka Broker能够保证同一个tipic下同一个partition内部消息是有序的，但无法保证partition之前的全局消息有序。每个分区中的消息被赋予唯一整数标识，称为offest（偏移量）

Kafka Broker中保存的数据是是有有效期的。

3. Kafka Consumer：主动从kafka Broker拉取消息进行处理，每个kafka自己维护最后一个已读消息的offset，下次请求从这个offset读取消息。

4.Zookeeper:担任分布式服务协调的作用：

所有Broker会向Zookeeper注册，将自己的位置、健康状态、维护的topic、partition等信息写入Zookeeper，以便于其它Customer可以发现和获取这些数据，当一个Consumer宕机，其它consumer可以发现故障，自动分摊改负载，实现容错机制

Kafka关键性技术点：

1、可控的可靠性级别（Producer向Broker发送数据，分同步和异步）

2、数据多副本

3、高效的持久化机制（磁盘顺序写比随机写，速度两者相差6000倍）