自定义Flume sink： Sqlserver（一）windows中环境部署

最新推荐文章于 2022-04-13 00:00:00 发布
最新推荐文章于 2022-04-13 00:00:00 发布
阅读量1.2k 收藏
点赞数
分类专栏： FLUME
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/fengfengchen95/article/details/80820360
版权
本文介绍了如何在Windows上配置Apache Flume 1.7.0，以从txt文件抽取数据并将其存储到SQL Server。内容包括JRE、Flume的安装，配置文件client.properts的编写，以及后台运行Flume的步骤。环境变量配置、日志设置和开机启动的设置也是关键部分。
摘要由CSDN通过智能技术生成

经过一番折腾后终于实现window系统通过flume将txt中的数据抽取到Sqlserver中,现将开发过程分享如下：

windows中环境部署

 (1) jre-8u171-windows-x64.exe

 (2) apache-flume-1.7.0-bin

 (3)编写flume的配置文档client.properts

a1.channels = c1
a1.sources = r1

a1.sinks = k1

a1.sources.r1.type = spooldir
a1.sources.r1.channels = c1
a1.sources.r1.spoolDir = D:/flumetest                           #flume监控目录
a1.sources.r1.fileHeader = true
a1.sources.r1.fileHeaderKey = file
a1.sources.r1.deletePolicy = immediate
a1.sources.r1.recursiveDirectorySearch = true
a1.sources.r1.inputCharset = UTF-8
a1.sources.r1.batchSize = 100
a1.sources.r1.decodeErrorPolicy = IGNORE

a1.sources.r1.deserializer = LINE

a1.channels.c1.type = file
a1.channels.c1.checkpointDir = D:/flumedata/checkpoint 

最低0.47元/天 解锁文章
fengfengchen95
关注
专栏目录
SeaTunnel 与 DataX 、Sqoop、Flume、Flink CDC 对比
07-25 2万+
Apache SeaTunnel 作为一款强大的数据同步和转换工具，凭借其部署易用性、容错机制、数据源支持、性能优势、功能丰富性以及活跃的社区支持，成为了数据工程师们不可或缺的利器。SeaTunnel 能够满足各种规模和类型的数据处理需求，为用户提供高效、稳定和灵活的数据处理解决方案。随着数据环境的不断演变和发展，SeaTunnel 将继续在数据同步和转换领域发挥领导作用，推动数据驱动的业务发展。同时有商业版的产品，由商业公司提供产品企业级功能增强、服务、运维、Debug。
flume抽取mysql数据_利用Flume将MySQL表数据准实时抽取到HDFS
weixin_42523720的博客
01-26 906
一、为什么要用到Flume在以前搭建HAWQ数据仓库实验环境时，我使用Sqoop抽取从MySQL数据库增量抽取数据到HDFS，然后用HAWQ的外部表进行访问。这种方式只需要很少量的配置即可完成数据抽取任务，但缺点同样明显，那就是实时性。Sqoop使用MapReduce读写数据，而MapReduce是为了批处理场景设计的，目标是大吞吐量，并不太关心低延时问题。就像实验中所做的，每天定时增量抽取数据一...
Flume抽取SQL Server设计方案
fengfengchen95的博客
05-28 2911
1.为表创建触发器
利用Flume将MySQL表数据准实时抽取到HDFS、MySQL、Kafka
03-06
利用Flume将MySQL表数据准实时抽取到HDFS、MySQL、Kafka用到的jar包
利用Flume将MySQL表数据准实时抽取到HDFS
热门推荐
wzy0623的专栏
06-23 2万+
一、为什么要用到Flume        在以前搭建HAWQ数据仓库实验环境时，我使用Sqoop抽取从MySQL数据库增量抽取数据到HDFS，然后用HAWQ的外部表进行访问。这种方式只需要很少量的配置即可完成数据抽取任务，但缺点同样明显，那就是实时性。Sqoop使用MapReduce读写数据，而MapReduce是为了批处理场景设计的，目标是大吞吐量，并不太关心低延时问题。就像实验中所做的，每天定
flume采集sqlserver测试
a150791038的博客
04-13 2487
一、背景 由于客户数据库迁移，更改flume配置后，数据采集重复，故测试环境进行验证 二、准备 sqlserver：由于公司没有环境，选择linux服务器安装docker，然后docker sqlserver 其他环境：可正常运行的accur平台即可 三、测试准备 3.1 sqlserver 通过数据库连接工具连接上去，新建数据库，里面插入4条数据 3.2 flume 采集配置文件如下： agent....
Flume自定义组件之SqlServer Sink
Ancony_的博客
06-21 1550
自定义的sink需要继承Flume的AbstractSink类，最好实现Configurable接口，实现了该接口以后，自定义组件中的一些参数就可以通过在配置文件中实现。process方法定义了事件的处理逻辑。configure方法用于获取组件的自定参数。可以配置的参数的值都通过该方法来获取。不需要配置的参数，但是又必须的参数可以以实例成员变量的方式给出。通过这种灵活的手段，可以设置一些既可以让用...
flume抽取数据库数据的source
01-26
flume抽取数据库数据的源码，可以自动检测数据库的sql语句是否更新
如何远程调试自定义开发的Flume应用
IT大狮兄的博客
08-16 316
一、前言 Flume作为当下最流行的大数据采集组件之一。其本身拥有分布式/高可靠/高可用等优点，但相比较于Flink/Spark/Kafka等大数据组件，其对于本地调试的功能支持度并不高，如果我们没有掌握Flume的远程调试要领，就只能不停的进行打日志，部署，打日志，部署这样低效的工作，而这对于程序员来说无异于折磨。所以今天小编就和大家一起来探究Flume的远程调试方法。 二、环境准备 flink官网下载上传服务器并解压。 开发自定义Source，这里以简单的读取mysql表数据为demo，部分代码
数据库抽取工具
08-09
数据库抽取工具，数据库间的数据的转移。不会修改表结构。
SQL性能采集工具
11-18
采集服务器占用CPU最大、占用IO最大、Read最大、Write最大等SQL语句，分析数据库性能。
jre-8u171-windows-x64
04-29
安装 ms server2016时必须要打的组件。如果安装时发生错误或异常，根据提示安装此包
jdk-8u171-windows-x64 下载，JDK1.8 下载
07-09
jdk-8u171-windows-x64 下载，JDK1.8 下载 ，国内镜像 高速下载。
flume mysql hdfs_利用Flume将MySQL表数据准实时抽取到HDFS
weixin_33349121的博客
01-19 191
一、为什么要用到Flume在以前搭建HAWQ数据仓库实验环境时，我使用Sqoop抽取从MySQL数据库增量抽取数据到HDFS，然后用HAWQ的外部表进行访问。这种方式只需要很少量的配置即可完成数据抽取任务，但缺点同样明显，那就是实时性。Sqoop使用MapReduce读写数据，而MapReduce是为了批处理场景设计的，目标是大吞吐量，并不太关心低延时问题。就像实验中所做的，每天定时增量抽取数据一...
通过flume实时抽取数据库的多张表新增数据
weixin_42570350的博客
05-13 1015
网上关于sqlserver的数据新增同步方案很少，参考了github上的一位作者，链接在此，在此基础上做了些修改，可以同时监控多张表的数据新增 话不多说，直接上代码 package org.keedio.flume.source; import java.util.ArrayList; import java.util.HashMap; import java.util.List; import java.util.Map; import org.hibernate.Session; import or
flume 1.6配置实践
TURING.DT
04-13 567
Flume NG节点组成图： 此博文配置方法，将/var/log/hadoop/hdfs里面的文件重命名为x.COMPLETED,建议将建立一个flume收集日志的目录如abc，将要处理的log cp到这个abc，实际的配置配上abc的目录，之后定时删除.COMPLETED结尾的文件。 说明： server5收集日志信息传送到server4，server4将数据上传到hdf
Flume-部署及使用案例
liberty12345678的专栏
12-19 280
1、Flume 简介 1) Flume 提供一个分布式的，可靠的，对大数据量的日志进行高效收集、聚集、移动的服务， Flume只能在Unix环境下运行。 2) Flume 基于流式架构，容错性强，也很灵活简单。 3) Flume、Kafka 用来实时进行数据收集，Spark、Storm 用来实时处理数据，impala 用来实 时查询。 2、Flume 角色 Flume的一些核心概念：...
自定义Flume HDFS Sink 实现双HA集群数据分发
在描述中提到的方法是通过修改 Flume 的 HDFSSink 类来实现这一功能。具体步骤如下： 1. 首先，需要获取 Flume 的源码，可以从官方镜像站点（例如 http://mirrors.hust.edu.cn/apache/flume/）下载 Apache Flume 的...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值