数据采集工具Sqoop、Datax、Flume、Canal

最新推荐文章于 2024-06-28 22:13:28 发布

yue-verdure

最新推荐文章于 2024-06-28 22:13:28 发布

阅读量2.9k

点赞数 4

分类专栏：大数据文章标签： sqoop flume 大数据阿里云

本文链接：https://blog.csdn.net/qq_41261170/article/details/109703067

版权

大数据专栏收录该内容

7 篇文章 2 订阅

订阅专栏

离线采集工具

Sqoop

1. 环境配置

解压安装包
配置环境变量（记得source）
添加MySQL驱动包到sqoop文件夹下的lib

cp mysql-connector-java-5.1.10.jar  /sqoop-install-path/lib

重命名文件并配置文件

mv sqoop-env-template.sh sqoop-env.sh
#添加环境变量
export HADOOP_COMMON_HOME=/usr/local/soft/hadoop-2.6.0
export HBASE_HOME=/usr/local/soft/hbase-1.4.6（HBASE使用报错）
export HIVE_HOME=/usr/local/soft/hive-1.2.1

修改配置…/bin/configure-sqoop (可不做)

#if [ ! -d "${HBASE_HOME}" ]; then
# echo "Error: $HBASE_HOME does not exist!"
# echo 'Please set $HBASE_HOME to the root of your HBase installation.'
# exit 1

测试

#查看sqoop的版本号
sqoop version
#连接测试MySQL
sqoop list-databases -connect jdbc:mysql://master:3306/ -username root -password 123456

2. Sqoop的使用

我们需要指定文件，使用命令导入文件然后采集数据

sqoop --options-file 文件名

例：

将MySQL中的数据写入到hdfs中文件名：mysqltoHdfs.conf

import
--connect
jdbc:mysql://master:3306/tjf    #连结以及数据库名（注意每一行后不要有空格和换行）
--username
root
--password
123456
--table
student
--m
2
--split-by              #会以此为基准分割数据集
age
--target-dir
/sqoop/data/student         #hdfs中文件位置
--fields-terminated-by
','

将MySQL中数据写入到hive中文件名：mysqlToHive.conf

import
--connect
jdbc:mysql://master:3306/tjf
--username
root
--password
123456
--table
score
--fields-terminated-by
"\t"
--lines-terminated-by
"\n"
--m
2
--split-by
student_id
--hive-import
--target-dir
/data/score
--hive-table
score

hdfs文件写入到MySQL中文件名： hdfsToMySQLconf

export
--connect
jdbc:mysql://master:3306/tjf?useUnicode=true&characterEncoding=UTF-8
--username
root
--password
123456
-m
1
--columns
id,name,age,gender,clazz
--export-dir
/sqoop/data/student/
--fields-terminated-by
','
--table
student

增量数据
当离线处理完数据时，发现数据更改对于数据的再一次获取或者更换
以学生表为例，创建带有时间戳的数据

DROP TABLE IF EXISTS `student`;

CREATE TABLE `student` (
  `id` int(10) NOT NULL AUTO_INCREMENT,
  `name` char(5) DEFAULT NULL,
  `age` int(11) DEFAULT NULL,
  `gender` char(2) DEFAULT NULL,
  `clazz` char(4) DEFAULT NULL,
  `last_mod` timestamp NOT NULL DEFAULT CURRENT_TIMESTAMP ON UPDATE CURRENT_TIMESTAMP,
  PRIMARY KEY (`id`)
) ENGINE=MyISAM AUTO_INCREMENT=1500101002 DEFAULT CHARSET=utf8;

INSERT INTO `student` VALUES ('1500100001', '施笑槐', '22', '女', '文科六班', '2019-03-16 14:47:59');
INSERT INTO `student` VALUES ('1500100002', '吕金鹏', '24', '男', '文科六班', '2019-03-16 14:47:59');
INSERT INTO `student` VALUES ('1500100003', '单乐蕊', '22', '女', '理科六班', '2019-03-16 14:47:59');

#指定字段的取值范围，增量导数据
#适用于表不断的有新数据插入
sqoop import \
--connect jdbc:mysql://master:3306/tjf?characterEncoding=UTF-8 \
--username root \
--driver com.mysql.jdbc.Driver \
--password 123456 \
--table student \
--target-dir /sqoop/data/student \
--split-by id \
--m 2 \
--fields-terminated-by '\t' \
--incremental append \
--check-column id \
--last-value 1500100500

#追加  根据业务可能需要去重
sqoop import \
--connect jdbc:mysql://master:3306/tjf?characterEncoding=UTF-8 \
--username root \
--driver com.mysql.jdbc.Driver \
--password 123456 \
--target-dir /sqoop/data/student \
--table student \
--fields-terminated-by '\t' \
--check-column last_mod \
--incremental lastmodified \
--last-value "2012-11-13 19:19:39" \  #向hdfs中导入在这个时间之后的MySQL数据
--m 1 \
--append

# 更新数据 ，并且合并形成最终的结果
sqoop import \
--connect jdbc:mysql://master:3306/tjf?characterEncoding=UTF-8 \
--username root \
--driver com.mysql.jdbc.Driver \
--password 123456 \
--target-dir /sqoop/data/student \
--table student \
--fields-terminated-by '\t' \
--check-column last_mod \
--incremental lastmodified \
--last-value "2020-11-13 19:35:58" \
--m 1 \
--merge-key id

Datax

1. 环境搭建

搭建比较简单解压上传后配置环境变量之后即可不像Sqoop依赖于hadoop

2.Datax的使用

使用方法 datax.py 文件名

hdfs写入到MySQL中文件名： hdfsToMySQL.json

{
    "job": {
        "setting": {
            "speed": {
                "channel": 3
            }
        },
        "content": [
            {
                "reader": {
                    "name": "hdfsreader",
                    "parameter": {
                        "path": "/datax/data/student",
                        "defaultFS": "hdfs://master:9000",
                        "column": ["*"], //获取所有的数据
                        "fileType": "text",
                        "encoding": "UTF-8",
                        "fieldDelimiter": "\t",
                        "compress":"gzip"
                    }

                },
                "writer": {
                    "name": "streamwriter",
                    "parameter": {
                        "print": true
                    }
                }
            }
        ]
    }
}

MySQL中数据写入到hdfs中文件名： mysqlToHdfs.json

{
    "job": {
        "setting": {
            "speed": {
                 "channel": 3
            },
            "errorLimit": {
                "record": 0,
                "percentage": 0.02
            }
        },
        "content": [
            {
                "reader": {
                    "name": "mysqlreader",
                    "parameter": {
                        "username": "root",
                        "password": "123456",
                        "column": [
                            "id",
                            "name",
                            "age",
                            "gender",
                            "clazz"
                        ],
                        "splitPk": "id",
                        "connection": [
                            {
                                "table": [
                                    "student"
                                ],
                                "jdbcUrl": [ "jdbc:mysql://master:3306/tjf"]
                            }
                        ]
                    }
                },
				"writer": {
                    "name": "hdfswriter",
                    "parameter": {
                        "defaultFS": "hdfs://master:9000",
                        "fileType": "text",
                        "path": "/datax/data/student",
                        "fileName": "1",
                        "column": [
                            {
                                "name": "id",
                                "type": "STRING"
                            },
                            {
                                "name": "name",
                                "type": "STRING"
                            },
                            {
                                "name": "age",
                                "type": "INT"
                            },
                            {
                                "name": "gender",
                                "type": "STRING"
                            },
                            {
                                "name": "clazz",
                                "type": "STRING"
                            }
                        ],
                        "writeMode": "append",
                        "fieldDelimiter": "\t",
                        "compress":"gzip"
                    }
                }
            }
        ]
    }
}

更多内容可以在码云上的datax官方文档上学习
datax官方文档

实时采集工具

Flume

1.环境搭建

上传解压配置环境变量

tar -xvf apache-flume-1.6.0-bin.tar.gz

配置环境变量，然后测试

flume-ng version

2. Flume的使用

监控一个目录，将数据打印出来文件名spoolingtest.conf

a.sources = r1
a.sinks = k1 
a.channels = c1
#指定spooldir的属性
a.sources.r1.type = spooldir 
a.sources.r1.spoolDir = /usr/local/soft/data 
a.sources.r1.fileHeader = true 
a.sources.r1.interceptors = i1 
a.sources.r1.interceptors.i1.type = timestamp
#指定sink的类型
a.sinks.k1.type = logger
#指定channel
a.channels.c1.type = memory 
a.channels.c1.capacity = 1000
a.channels.c1.transactionCapacity = 100
 #组装
a.sources.r1.channels = c1 
a.sinks.k1.channel = c1

启动agent

flume-ng agent -n a -f ./spoolingtest.conf -Dflume.root.logger=DEBUG,console
# -n  是文件中的名称   -f   文件的名称

监控目录将数据保存到hdfs 文件名：fileToHdfs.conf

a.sources = r1
a.sinks = k1 
a.channels = c1
#指定spooldir的属性
a.sources.r1.type = spooldir 
a.sources.r1.spoolDir = /usr/local/soft/data 
a.sources.r1.fileHeader = true 
a.sources.r1.interceptors = i1 
a.sources.r1.interceptors.i1.type = timestamp
#将数据保存到hdfs

a.sinks.k1.type = hdfs
#如果不存在会自动创建
a.sinks.k1.hdfs.path =hdfs://master:9000/flume/data
a.sinks.k1.hdfs.filePrefix = pre-
a.sinks.k1.hdfs.minBlockReplicas= 1
a.sinks.k1.hdfs.fileType = DataStream

#指定channel
a.channels.c1.type = memory 
a.channels.c1.capacity = 1000
a.channels.c1.transactionCapacity = 100
 #组装
a.sources.r1.channels = c1 
a.sinks.k1.channel = c1

启动agent

flume-ng agent -n a -f ./fileToHdfs.conf -Dflume.root.logger=DEBUG,console

监控一个文件将数据保存到hdfs 文件名： HbaseLogToHdfs.conf

a.sources = r1
a.sinks = k1 
a.channels = c1
#指定exec的属性
a.sources.r1.type = exec
#指定监控的命令
a.sources.r1.command = tail -F /usr/local/soft/hbase-1.4.6/logs/hbase-root-master-master.log

#指定sink的类型
a.sinks.k1.type = hdfs
#如果不存在会自动创建
a.sinks.k1.hdfs.path = hdfs://master:9000/flume/hbase/master
a.sinks.k1.hdfs.filePrefix = pre-
a.sinks.k1.hdfs.minBlockReplicas= 1
a.sinks.k1.hdfs.fileType = DataStream


#指定channel
a.channels.c1.type = memory 
a.channels.c1.capacity = 1000
a.channels.c1.transactionCapacity = 100
 #组装
a.sources.r1.channels = c1 
a.sinks.k1.channel = c1

启动agent

flume-ng agent -n a -f ./HbaseLogToHdfs.conf -Dflume.root.logger=DEBUG,console

绑定一个端口，实时收集数据,可以监视端口数据文件名： netcat.conf

a.sources = r1
a.sinks = k1 
a.channels = c1

#绑定一个端口

a.sources.r1.type=netcat 
a.sources.r1.bind=master 
a.sources.r1.port=8888

#指定sink的类型
a.sinks.k1.type = logger
#指定channel
a.channels.c1.type = memory 
a.channels.c1.capacity = 1000
a.channels.c1.transactionCapacity = 100

 #组装
a.sources.r1.channels = c1 
a.sinks.k1.channel = c1

启动agent

flume-ng agent -n a -f ./netcat.conf -Dflume.root.logger=DEBUG,console

从另外一个节点发送数据到master的8888端口

安装telnet
yum install telnet
telnet master 8888

绑定一个端口使用http协议文件名： http.conf

a.sources = r1
a.sinks = k1
a.channels = c1

# Describe/configure the source
a.sources.r1.type = http
a.sources.r1.bind = master
a.sources.r1.port = 8888

a.sinks.k1.type = hdfs
#指定hdfs地址中的输出⽬录
a.sinks.k1.hdfs.path = hdfs://master:9000/flume/output
a.sinks.k1.hdfs.writeFormat = Text
a.sinks.k1.hdfs.fileType = DataStream
a.sinks.k1.hdfs.rollInterval = 10
a.sinks.k1.hdfs.rollSize = 0
a.sinks.k1.hdfs.rollCount = 0
a.sinks.k1.hdfs.filePrefix = %Y-%m-%d-%H-%M-%S
a.sinks.k1.hdfs.useLocalTimeStamp = true


a.channels.c1.type = file
a.channels.c1.checkpointDir = /usr/flume/checkpoint
a.channels.c1.dataDirs = /usr/flume/data
# Bind the source and sink to the channel
a.sources.r1.channels = c1
a.sinks.k1.channel = c1

启动agent

flume-ng agent -n a -f ./http.conf -Dflume.root.logger=DEBUG,console

发送数据到Flume

curl -X POST -d '[{ "headers" :{"a" : "a1","b" : "b1"},"body" : "hello~http~flume~"}]' http://master:8888

flume将数据写kafka 文件名： flumeToKafka.conf

agent.sources=s1
agent.channels=c1
agent.sinks=k1

agent.sources.s1.type=exec

#监听文件地址
agent.sources.s1.command=tail -F  /usr/flume/log.log


agent.channels.c1.type=memory
agent.channels.c1.capacity=10000
agent.channels.c1.transactionCapacity=100

#设置Kafka接收器
agent.sinks.k1.type=org.apache.flume.sink.kafka.KafkaSink
#设置Kafka的broker地址和端口号
agent.sinks.k1.brokerList=master:9092,node1:9092,node2:9092

#设置Kafka的Topic   如果topic不存在会自动创建一个topic,默认分区为1，副本为1
agent.sinks.k1.topic=flume

#设置序列化方式
agent.sinks.k1.serializer.class=kafka.serializer.StringEncoder

#将三个主件串联起来
agent.sources.s1.channels=c1
agent.sinks.k1.channel=c1

在所有节点启动kafka

kafka-server-start.sh -daemon  /usr/local/soft/kafka_2.11-1.0.0/config/server.properties

在kafka中创建topic

kafka-topics.sh --create --zookeeper node1:2181,node2:2181,master:2181 --replication-factor 3 --partitions 3 --topic flume

启动Flume

flume-ng agent -n agent -f ./flumeToKafka.conf -Dflume.root.logger=INFO,console

在其他节点启动kafka控制台的消费者查看数据

kafka-console-consumer.sh --bootstrap-server  master:9092,node1:9092,node2:9092  --from-beginning --topic flume

向flume文件中打入数据

echo "java,spark" >>  /usr/flume/log.log

Canal

只能实时监控MySQL中的数据

1.环境搭建

修改my.cnf文件

cp /usr/share/mysql/my-medium.cnf /etc/my.cnf

vim /etc/my.cnf

在文件下修改一个配置

[mysqld]    
# 打开binlog
log-bin=mysql-bin
# 选择ROW(行)模式
binlog-format=ROW
# 配置MySQL replaction需要定义，不要和canal的slaveId重复
server_id=1

先重启MySQL，在进入MySQL查看是否进入binlog模式

service mysqld restart

show variables like 'log_bin';

上传Canal解压配置环境变量

tar -zxvf canal.deployer-1.1.4.tar.gz

修改配置文件conf/example/instance.properties

# mysql 地址
canal.instance.master.address=master:3306
# mysql用户名
canal.instance.dbUsername=root
# mysql密码
canal.instance.dbPassword=123456
# 数据写入kafka 的topic
canal.mq.topic=example

修改配置文件conf/canal.properties

# zk地址 
canal.zkServers = master:2181,node1:2181,node2:2181

# 数据保存到kafka
canal.serverMode = kafka

# kafka集群地址
canal.mq.servers = master:9092,node1:9092,node2:9092

启动

cd /usr/local/soft/canal/bin

start.sh

2. Canal使用

简单测试：


use `test`;

# 创建表
CREATE TABLE `order`
(
    id          BIGINT UNIQUE PRIMARY KEY AUTO_INCREMENT COMMENT '主键',
    order_id    VARCHAR(64)   COMMENT '订单ID',
    amount      DECIMAL(10, 2) COMMENT '订单金额',
    create_time DATETIME       COMMENT '创建时间',
    UNIQUE uniq_order_id (`order_id`)
) COMMENT '订单表';

# 插入数据

INSERT INTO `order`(order_id, amount) VALUES ('10086', 999);
UPDATE `order` SET amount = 10087 WHERE order_id = '10086';
DELETE  FROM `order` WHERE order_id = '10086';

可以利用Kafka的kafka-console-consumer或者Kafka Tools查看test这个topic的数据：

kafka-console-consumer.sh --bootstrap-server master:9092,node1:9092,node2:9092 --from-beginning --topic example

yue-verdure

关注

4
点赞
踩
16

收藏

觉得还不错? 一键收藏
0
评论
数据采集工具Sqoop、Datax、Flume、Canal

离线采集工具Sqoop1. 环境配置解压安装包i配置环境变量（记得source）添加MySQL驱动包到sqoop文件夹下的libcp mysql-connector-java-5.1.10.jar /sqoop-install-path/lib重命名文件并配置文件mv sqoop-env-template.sh sqoop-env.sh#添加环境变量export HADOOP_COMMON_HOME=/usr/local/soft/hadoop-2.6.0expor
复制链接

扫一扫

专栏目录