使用flume对FTP服务器进行文件的获取解析入库mysql数据库

最新推荐文章于 2022-04-08 14:30:53 发布
最新推荐文章于 2022-04-08 14:30:53 发布
阅读量5.8k 收藏 19
点赞数 4
分类专栏： 小猿随笔 文章标签： mysql flume ftp
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_40015759/article/details/82429117
版权
本文介绍了如何使用Flume从FTP服务器获取文件，解析数据，并将其存储到MySQL数据库中。详细讲解了Flume的基本组件，包括Source、Channel和Sink的原理和类型，特别提到了自定义FTP Source和MySQL Sink的实现方法。
摘要由CSDN通过智能技术生成

使用flume对FTP服务器进行文件的获取解析入库mysql数据库

  • flume的基本介绍
  • flume的搭建和启动
  • FTP做source的插件使用
  • 自定义sink将数据导入mysql中

flume的基本介绍

系统描述：
Flume是一个分布式的、可靠的、高可用的海量日志采集、聚合和传输的系统。
数据流模型：Source-Channel-Sink。
当 Flume 来源收到事件后，它会将这些事件存储在一个或多个通道 中。通道是一种被动存储，它将事件保留到被 Flume 接收器 使用为止。例如，一个文件通道使用了本地文件系统；接收器从通道提取事件，并将它放在一个外部存储库（比如 HDFS）中，或者将它转发到流中下一个 Flume 代理（下一个跃点）的 Flume 来源；给定代理中的来源和接收器与暂存在通道中的事件同步运行。
架构图：
这里写图片描述
网上很多关于flume的介绍我就不多说了。
Flume基本组件：
Event：消息的基本单位，有header和body组成
Agent：JVM进程，负责将一端外部来源产生的消息转 发到另一端外部的目的地
Source：从外部来源读入event，并写入channel
Channel：event暂存组件，source写入后，event将会一直保存,
Sink：从channel读入event，并写入目的地
1.3.1Source意为来源、源头。
主要作用：从外界采集各种类型的数据，将数据传递给Channel。
比如:监控某个文件只要增加数据就立即采集新增的数据、监控某个目录一旦有新文件产生就采集新文件的内容、监控某个端口等等。
常见采集的数据类型：
Exec Source、Avro Source、NetCat Source、Spooling Directory Source等
Source具体作用：
- **AvroSource：监听一个avro服务端口，采集Avro数据序列化后的数据；
- **Thrift Source：监听一个Thrift 服务端口，采集Thrift数据序列化后的数据；
- **Exec Source：基于Unix的command在标准输出上采集数据；tail -F 和tail -f 区别。基于log4j切割文件时的能否读取问题。
- **JMS Source：Java消息服务数据源，Java消息服务是一个与具体平台无关的API，这是支持jms规范的数据源采集；
- **Spooling Directory Source：通过文件夹里的新增的文件作为数据源的采集；
- **Kafka Source：从kafka服务中采集数据。
- **NetCat Source： 绑定的端口（tcp、udp），将流经端口的每一个文本行数据作为Event输入
- **HTTP Source：监听HTTP POST和 GET产生的数据的采集
Channel：
一个数据的存储池，中间通道。
主要作用：接受source传出的数据，向sink指定的目的地传输。Channel中的数据直到进入到下一个channel中或者进入终端才会被删除。当sink写入失败后，可以自动重写，不会造成数据丢失，因此很可靠。
channel的类型很多比如:内存中、jdbc数据源中、文件形式存储等。
常见采集的数据类型：
- **Memory Channel
- **File Channel
- **Spillable Memory Channel等

Channel具体作用：
- **Memory Channel：使用内存作为数据的存储。速度快
- **File Channel：使用文件来作为数据的存储。安全可靠
- **Spillable Memory Channel：使用内存和文件作为数据的存储，即：先存在内存中，如果内存中数据达到阀值则flush到文件中。
- **JDBC Channel：使用jdbc数据源来作为数据的存储。
- **Kafka Channel：使用kafka服务来作为数据的存储。

Sink：
主要作用：接受channel写入的数据以指定的形式表现出来（或存储或展示）。
sink的表现形式很多比如:打印到控制台、hdfs上、avro服务中、文件中等。
常见采集的数据类型：
 HDFS Sink
 Hive Sink
 Logger Sink
 Avro Sink
 Thrift Sink
 File Roll Sink
 HBaseSink
 Kafka Sink等
详细查看：
HDFSSink需要有hdfs的配置文件和类库。一般采取多个sink汇聚到一台采集机器负责推送到hdfs。

Sink具体作用：
Logger Sink：将数据作为日志处理（根据flume中的设置的日志的级别显示）。
HDFS Sink：将数据传输到hdfs集群中。
Avro Sink：数据被转换成Avro Event，然后发送到指定的服务端口上。
Thrift Sink：数据被转换成Thrift Event，然后发送到指定的的服务端口上。
File Roll Sink：数据传输到本地文件中。
Hive Sink：将数据传输到hive的表中。
IRC Sink：数据向指定的IRC服务和端口中发送。
Null Sink：取消数据的传输，即不发送到任何目的地。
HBaseSink：将数据发往hbase数据库中。
MorphlineSolrSink：数据发送到Solr搜索服务器（集群）。
ElasticSearchSink：数据发送到Elastic Search搜索服务器（集群）。
Kafka Sink：将数据发送到kafka服务中。（注意依赖类库）

Flume搭建和启动

首先官网下载二进制的安装包
http://flume.apache.org/download.html
直接解压 运行需要有jdk的环境，根据flume的版本不同所需要的jdk版本也不一样 1.7的flume至少需要的是1.7以上的jdk

然后到flume的bin目录下面就可以启动flume了
如：./flume-ng agent -c ../conf -f ../conf/g01-taildir-avro-sink.conf -n agent1 -Dflume.root.logger=INFO,console

-c/–conf 后跟配置目录，-f/–conf-file 后跟具体的配置文件，-n/–name 指定agent的名称

使用FTP做source

因为我的需求是从客户的ftp服务器中获取需要的文件数据所以需要有一个source从ftp获取，但是由于flime内置的souce中没有ftp，所以我们从github中down一个frp做source的插件使用
https://github.com/keedio/flume-ftp-source
!!!!感谢大神提供的插件啊！
下载之后解压然后打包生成jar包并且把另外两个依赖包
commons-net-3.3.jar和jsch-0.1.54.jar 加入之前解压的flume中的lib 中
然后编写配置文件 按照 插件里面的配置文件模板编写自己的soure的配置
如：
agent.sources.ftp2.type = org.keedio.flume.source.ftp.source.Source
agent.sources.ftp2.client.source = ftp
agent.sources.ftp2.name.server = 172.168.27.98 //ftp服务地址
agent.sources.ftp2.port = 21 //端口
agent.sources.ftp2.user = ftp_huge //ftp用户名
agent.sources.ftp2.password = 2970667 //密码
agent.sources.ftp2.working.directory = /OCS/CRM/bill/in //文件所在目录 （相对于根目录）
agent.sources.ftp2.filter.pattern = .+\.unl //文件的名称匹配 （java正则表达式）
agent.sources.ftp2.folder = /home/ftp_test //ftp的根目录
agent.sources.ftp2.file.name = ftp2-status-file.ser
agent.sources.ftp2.run.discover.delay=5000
agent.sources.ftp2.flushlines = true
agent.sources.ftp2.search.recursive = true
agent.sources.ftp2.processInUse = false
agent.sources.ftp2.processInUseTimeout = 30
agent.sources.ftp2.channels = ch2

自定义sink将数据导入mysql中

有了之前ftp插件引用的经验 现在我们需要自己定义一个sink将数据存入MySQL中

首先新建maven 项目，pom.xml 文件如下：

<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="http://maven.apache.org/POM/4.0.0"
         xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
         xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org
最低0.47元/天 解锁文章
幼稚猿大叔
关注
专栏目录
数据中台建设方案-基于大数据平台
2301_76549664的博客
03-14 4611
通过对客户大数据应用平台服务需求的理解，根据建设目标、设计原则的多方面考虑，建议采用星环科技Transwarp Data Hub（TDH）大数据基础平台的架构方案，基于Transwarp Operating System（简称TOS）云平台方式部署构建。 通过建立大数据集成平台、大数据计算平台、大数据开发平台及大数据运维平台来满足客户大数据应用平台服务建设的要求。
程序员编程笔记
weixin_40789007的博客
09-20 4753
1.查看电脑当前进程和端口cmd netstat -pid netstat -a 查看全部端口信息:netstat –ano 2.创建文件夹 mkdir 文件名或文件路径 3.删除文件夹 rmdir 4.删除文件 del 5.打开计算机calc 6.打开画图mspaint 7.用echo "写入新数据">d:\a.txt，echo 字符串 >文件路径 文件名(会覆盖原内容) 8.用echo "写入新数据">>d:\a.txt，echo 字符串 >文件路径 文件名.
flume采集ftp上传文件到hadoop
大数据学习笔记
05-09 8423
flume服务器环境centos 7.2jdk 1.8flume 1.8hadoop平台环境centos7.2ambari 2.6.1hdp 2.6.4jdk 1.8一、 ftp安装与配置参考：https://blog.csdn.net/qq_39160721/article/details/80250975二、flume安装与配置参考 ：https://blog.csdn.net/qq_3916...
flume-ftp-source-master.jar
12-20
flum支持ftp工具jarflum支持ftp工具jar
flume-ftp-source 相关jar包
09-08
由于flume官方并未提供ftp，source的支持； 因此想使用ftp文件服务器的资源作为数据的来源就需要自定义ftpsource，根据github：https://github.com/keedio/flume-ftp-source，提示下载相关jar，再此作为记录。
基于Flume做FTP文件实时同步的windows服务。
weixin_30628077的博客
01-27 551
需求：做一个windows服务，实现从ftp服务器实时下载或者更新文件到本地磁盘。 功能挺简单的。直接写个ftp工具类用定时器跑就能搞定，那我为什么不用呢？ 别问，问就是我无聊啊，然后研究一下Flume打发时间。哈哈~ 一、Flume部分 Source组件和Sink组件用的都是第三方。 source组件:https://github.com/keedio/flume-ftp-source...
java连接ftp服务器，解析csv文件
weixin_43365615的博客
04-08 547
java连接ftp服务器，解析csv文件
【成为博客专家】大数据面试题
羊羊吃草
06-07 6336
面试题 文章目录Hadoop运行原理hdfs运行原理MapReduce运行原理MapReduce如何优化hadoop中combiner的作用hadoop进程名我们开发Job是否能去掉reduce阶段datanode在什么情况下不会备份3个datanode中有一个datanode出现错误会怎样？Hive生产环境中为什么建议使用外部表？MapReduce的map数量和reduce数量怎么确定，怎么配置...
从入门到精通 - Fayson带你玩转CDH
Hadoop_SC的博客
09-22 3977
Fayson保持每天推一篇文章，本文随之每天更新。 以下所有文章均为超链接，可以直接点击文章名跳转。 还没附上超链接的文章是还没上传的，会再后续更新后陆续补上 1.规划设计 1.1.on-premise部署规划 0001-《CDH网络要求(Lenovo参考架构)》 0062-《如何为Hadoop集群选择正确的硬件》 0158-《如何给Hadoop集群划分角色》 1.2.on private c...
kafka-connect-ftp：FTP服务器的Kafka连接源-监视FTP服务器上的文件并将更改输入到Kafka
02-05
kafka-connect-ftp：FTP服务器的Kafka连接源-监视FTP服务器上的文件并将更改输入到Kafka
ftp source
06-28
一个封装FTP的类，使用Winiapi写的ftp在与非win api server连接时，会出现12003错误，bug啊
flume的Source(数据源)
古龙
12-18 5912
source学习网址： http://flume.apache.org/FlumeUserGuide.html 一、Avro类型的Source 监听Avro 端口来接收外部avro客户端的事件流。和netcat不同的是，avro-source接收到的是经过avro序列化后的数据，然后反序列化数据继续传输。所以，如果是avro-source的话，源数据必须是经过avro序列化后的数据。而netcat...
ftp实时同步java_基于Flume做FTP文件实时同步到本地磁盘的windows服务。
weixin_29376541的博客
03-06 991
需求：做一个windows服务，实现从ftp服务器实时下载或者更新文件到本地磁盘。功能挺简单的。直接写个ftp工具类用定时器跑就能搞定，那我为什么不用呢？别问，问就是我无聊啊，然后研究一下flume打发时间。哈哈~一、flume部分source组件和sink组件用的都是第三方。source组件:sink组件用的谁的目前已经找不到了，网上搜到了一个升级版的。sink组件:因为一些个性化的需求，所以我...
Ftp压缩文件下载到本地进行解压发送Flume
Bian_MCheng的博客
08-16 1316
677807540    java开发交流群 1:controller进入 @Scheduled(cron="0 22 */1 * * ?") public void FtpToEs(){ System.out.println("FTP开始运行"); ftpToEsService.getFtptoEs(); System.out.println("FTP结束运行"); }...
flume-ng抓取日志文件存入mysql中
u012689336的专栏
11-08 2415
编写代码： 创建一个Maven项目，在pom.xml中添加下面的内容           org.apache.flume       flume-ng-configuration       1.5.2               org.apache.flume       flume-ng-core       1.5.2
数据采集工具——Flume
☆Silence♂
11-23 2267
文章内容输出来源：拉勾教育大数据高薪训练营 第一部分 Flume概述 无论数据来自什么企业，或是多大量级，通过部署Flume，可以确保数据都安全、及时地到达大数据平台，用户可以将精力集中在如何洞悉数据上。 第 1 节 Flume的定义 Flume由Cloudera公司开发，是一个分布式、高可靠、高可用的海量日志采集、聚合、传输的系统。 Flume支持在日志系统中定制各类数据发送方，用于采集数据; Flume提供对数据进行简单处理，并写到各种数据接收方的能力。 简单的说，Flume是实时采集.
Flume开发笔记一
一只长毛的虫的博客
06-04 744
 需求：通过配置参数，生成fume配置文件，并且上传至目标服务器，且执行flume命令，完成flume日志采集工作。1、生成配置文件a1.sources = r1 a1.sinks = k1 a1.channels = c1 a1.sources.r1.type = exec a1.sources.r1.command = tail -f /usr/logTest/1.log a1.source...
Apache Flume日志处理服务器应用与维护
资源摘要信息:"Apache Flume是一个分布式、可靠且可用的系统，...以上是对给定文件信息的知识点总结，涉及Apache Flume的定义、特点、核心组件、容错机制、灵活性、安装和配置、以及在大数据生态系统中的作用等方面。
评论 13
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值