【填坑之旅-hadoop-11】2.10.1 flume 1.9.0 （agent channel source sink） sqoop 1.4.7 （import,export）

flume

Flume 1.9用户手册中文版

Apache Flume 是一个分布式、高可靠、高可用的用来收集、聚合、转移不同来源的大量日志数据到中央数据仓库的工具

Apache Flume是Apache软件基金会（ASF）的顶级项目

Event是Flume定义的一个数据流传输的最小单元。Agent就是一个Flume的实例，本质是一个JVM进程，该JVM进程控制Event数据流从外部日志生产者那里传输到目的地（或者是下一个Agent）

Agent中的source和sink与channel存取Event是异步的。

Flume的Source负责消费外部传递给它的数据（比如web服务器的日志）。外部的数据生产方以Flume Source识别的格式向Flume发送Event。

提示 “Source消耗由外部传递给它的Event”，这句话听起来好像Flume只能被动接收Event，实际上Flume也有Source是主动收集Event的，比如：Spooling Directory Source 、Taildir Source 。

Event会在每个Agent的Channel上进行缓存，随后Event将会传递到流中的下一个Agent或目的地（比如HDFS）。只有成功地发送到下一个Agent或目的地后Event才会从Channel中删除。这一步保证了Event数据流在Flume Agent中传输时端到端的可靠性。

net-example.properties 配置文件

bin/flume-ng agent --conf conf --conf-file conf/net-example.properties --name a1 -Dflume.root.logger=INFO,console

flume 示例（source netcat telnet 44444）

# example.conf: 一个单节点的 Flume 实例配置

# 配置Agent a1各个组件的名称
a1.sources = r1
#Agent a1 的source有一个，叫做r1
a1.sinks = k1
#Agent a1 的sink也有一个，叫做k1
a1.channels = c1
#Agent a1 的channel有一个，叫做c1

# 配置Agent a1的source r1的属性
a1.sources.r1.type = netcat
#使用的是NetCat TCP Source，这里配的是别名，Flume内置的一些组件都是有别名的，没有别名填全限定类名
a1.sources.r1.bind = master
#NetCat TCP Source监听的hostname，这个是本机
a1.sources.r1.port = 44444
#监听的端口

# 配置Agent a1的sink k1的属性
a1.sinks.k1.type = logger
# sink使用的是Logger Sink，这个配的也是别名

# 配置Agent a1的channel c1的属性，channel是用来缓冲Event数据的
a1.channels.c1.type = memory
#channel的类型是内存channel，顾名思义这个channel是使用内存来缓冲数据
a1.channels.c1.capacity = 1000
#内存channel的容量大小是1000，注意这个容量不是越大越好，配置越大一旦Flume挂掉丢失的event也就越多
a1.channels.c1.transactionCapacity = 100
#source和sink从内存channel每次事务传输的event数量

# 把source和sink绑定到channel上
a1.sources.r1.channels = c1
#与source r1绑定的channel有一个，叫做c1
a1.sinks.k1.channel = c1
#与sink k1绑定的channel有一个，叫做c1

 ./flume-ng agent --conf conf --conf-file conf/net-example.properties --name a1 -Dflume.root.logger=INFO,console

cmd telnet

flume 示例（source exec tail -f /home/hadoop/flumetest/test.log ）

a1.sources = r1
a1.channels = c1
a1.sinks = k1

a1.sources.r1.type = exec
a1.sources.r1.command = tail -f  /home/hadoop/flumetest/test.log


a1.sinks.k1.type = logger

a1.channels.c1.type = memory
a1.channels.c1.capacity = 1000
a1.channels.c1.transactionCapacity = 100

a1.sources.r1.channels = c1
a1.sinks.k1.channel = c1

 ./flume-ng agent --conf conf --conf-file ../conf/spoolds.properties --name a1 -Dflume.root.logger=INFO,console


echo hello asds > test.log

chamnel memory

source netcat avro

sink hdfs logger HbaseSink avro

flume多agent 复杂流

Avro RPC 两个Agent 数据采集

以两个Agent为例，搭建Flume集群
Agent1负责对目录/flumeagent的监听，然后将数据通过Avro RPC发送给Agent2的Source

sqoop基础

基本概念
如下图所示，sqoop中有导入和导出的概念，参照物都是hadoop文件系统，其中关系型数据库可以是mysql、oracle和db2，hadoop文件系统中可以是hdfs、hive和hbase等。执行sqoop导入和导出，其本质都是转化成了mr任务去执行。

sqoop简介
Sqoop是一款开源的工具，主要用于在Hadoop(Hive)与传统的数据库(mysql、postgresql…)间进行数据的传递，可以将一个关系型数据库（例如 ： MySQL ,Oracle ,Postgres等）中的数据导进到Hadoop的HDFS中，也可以将HDFS的数据导进到关系型数据库中。

sqoop安装：

安装在一台节点上就可以了。

1.上传sqoop

2.安装和配置

在添加sqoop到环境变量

将数据库连接驱动拷贝到$SQOOP_HOME/lib里

export HADOOP_COMMON_HOME=/home/hadoop/app/hadoop-2.10.1

3.使用

第一类：数据库中的数据导入到HDFS上 sqoop import

	sqoop import --connect jdbc:mysql://192.168.1.10:3306/itcast --username root --password 123  --table trade_detail --columns 'id, account, income, expenses'
	
	指定输出路径、指定数据分隔符
	sqoop import --connect jdbc:mysql://192.168.1.10:3306/itcast --username root --password 123  --table trade_detail --target-dir '/sqoop/td' --fields-terminated-by '\t'
	
	指定Map数量 -m 
	sqoop import --connect jdbc:mysql://192.168.1.10:3306/itcast --username root --password 123  --table trade_detail --target-dir '/sqoop/td1' --fields-terminated-by '\t' -m 2

	增加where条件, 注意：条件必须用引号引起来
	sqoop import --connect jdbc:mysql://192.168.1.10:3306/itcast --username root --password 123  --table trade_detail --where 'id>3' --target-dir '/sqoop/td2' 

	增加query语句(使用 \ 将语句换行)
	sqoop import --connect jdbc:mysql://192.168.1.10:3306/itcast --username root --password 123 \

–query ‘SELECT * FROM trade_detail where id > 2 AND $CONDITIONS’ --split-by trade_detail.id --target-dir ‘/sqoop/td3’

	注意：如果使用--query这个命令的时候，需要注意的是where后面的参数，AND $CONDITIONS这个参数必须加上
	而且存在单引号与双引号的区别，如果--query后面使用的是双引号，那么需要在$CONDITIONS前加上\即\$CONDITIONS
	如果设置map数量为1个时即-m 1，不用加上--split-by ${tablename.column}，否则需要加上

第二类：将HDFS上的数据导出到数据库中 sqoop export

	sqoop export --connect jdbc:mysql://192.168.8.120:3306/itcast --username root --password 123 --export-dir '/td3' --table td_bak -m 1 --fields-termianted-by '\t'

4.配置mysql远程连接

GRANT ALL PRIVILEGES ON itcast.* TO 'root'@'192.168.1.201' IDENTIFIED BY '123' WITH GRANT OPTION;
FLUSH PRIVILEGES; 

GRANT ALL PRIVILEGES ON *.* TO 'root'@'%' IDENTIFIED BY '123' WITH GRANT OPTION;
FLUSH PRIVILEGES

第一步 从hdfs /liuliang/srclog 统计出 topurl 到 /liuliang/output2/

hadoop fs -cat /liuliang/srclog/access_2013_05_30.log | more
./sqoop-version 
./sqoop help

第二步 从hdfs /liuliang/output2/ 导出 数据库 urlcontent

bin/sqoop export \
   --connect jdbc:mysql://cch:3306/urlcontent  \
   --username root --password 123456 \
   --table urlinfo \
   --export-dir /liuliang/output2/ \
   --columns url \
   --input-fields-terminated-by '\t'

第三步 从数据库 urlcontent 导出到 /sqoop_test/table_urlinfo/queryresult

bin/sqoop import   \
    --connect jdbc:mysql://cch:3306/urlcontent   \
    --username root  \
    --password 123456   \
    --table urlinfo   \
    --m 1

bin/sqoop import --connect jdbc:mysql://cch:3306/urlcontent  \
   --username root--password 123456 \
   --target-dir /sqoop_test/table_urlinfo/queryresult \
   --table urlinfo --num-mappers 1