Gobblin--一个用于Hadoop的统一"数据抽取框架"

最新推荐文章于 2024-08-07 09:50:39 发布
最新推荐文章于 2024-08-07 09:50:39 发布
阅读量1.1w 收藏 10
点赞数 1
分类专栏： kafka
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/lmalds/article/details/53940549
版权
Gobblin是LinkedIn开源的数据整合框架，支持多种数据源如RDBMS、Kafka等。它包含Source、Extractor、Converter等组件，用于数据抽取、转换和写入。Gobblin具备状态存储、度量监控、精简处理等功能，并提供Yarn等部署方式。特别适合Kafka到HDFS的流式数据抽取。
摘要由CSDN通过智能技术生成

一、简介

Gobblin
Gobblin是 LinkedIn在2015年2月开源的、为Hadoop提供的一个数据整合框架。
说到将数据导入到HDFS，此类的框架包括：

1、Apache Sqoop
2、Apache Flume
3、Aegisthus
4、Morphlines
。。。

其中，Sqoop用于在关系型数据库（RDBMS）和HDFS之间互相传输数据，Flume主要用于对日志文件的收集，Aegisthus主要用于从Cassandra抽取数据，而Morphlines则类似于Gobblin中的转换器，作为插件配合Sqoop和Flume使用。

然而，相对于其他类似框架，Gobblin的设计有3个主要的目标：

1、普遍性
2、可扩展性
3、可操作性

Gobblin支持各种各样的数据源，例如RDBMS（Oralce、Mysql、SqlServer）， Espresso，Kafka，RocksDB，S3，Salesforce和Google Analytics等。通过使用同一的Gobblin框架，可以很容易的扩展这些数

最低0.47元/天 解锁文章
lmalds李麦迪
关注
专栏目录
1、数据同步方案设计
02-10 1232
包括七大部分内容： 一. 传统的数据同步方案及存在的问题 二、大数据时代数据同步方案及存在的问题 三、基于日志同步的优秀开源产品有哪些 四、各大同步开源框架比较 五、为什么需要MQ中间件 六、MQ中间件常用比较 七、最终同步方案选型
数据采集工具与Sqoop
子非鱼的博客
09-22 975
为了构建数据仓库，我们首先需要做的第一步就是，需要进行数据采集，常见的数据采集工具有Sqoop，Flume，DataX等等 数据采集的场景 场景1:从支持FTP、SFTP、HTTP等协议的数据源获取数据 （比如通过爬虫从网站获取数据） 场景2：从业务数据库中获取数据，数据采集录入后需要支撑业务系统 场景3：数据源通过kafka等消息队列，需要时实采集数据。 最下面数据源分为三部分： 针对不同的数据源，使用的数据采集也不同，在上面这张图中个，针对文件形式的数据源，我们使用的是Flume，针对普通的数据源，我
DI数据抽取详细框架流程
07-26
本文档详细介绍了Data Integrator开发的一般框架流程及一些常用函数功能介绍。
【大数据采集工具-gobblin】
luo981695830的博客
09-19 1303
一种分布式数据集成框架，可简化大数据集成的常见方面，例如流式数据和批处理数据生态系统的数据摄取、复制、组织和生命周期管理。Gobblin是LinkedIn公司开发的用于在Hadoop环境里统一数据抽取的框架。目前Gobblin可以建立多种pipelines，比如数据质量检查器、源数据管理、开发和其他操作。Gobblin支持多种类型的数据源。
Apache Gobblin 使用教程
最新发布
gitblog_00302的博客
08-07 725
Apache Gobblin 使用教程 gobblinA distributed data integration framework that simplifies common aspects of big data integration such as data ingestion, replication, organization and lifecycle management f...
数据采集框架Gobblin简介
weixin_34195546的博客
11-01 281
　　前面我们介绍Gobblin是用来整合各种数据源的通用型ETL框架，在某种意义上，各种数据都可以在这里“一站式”的解决ETL整个过程，专为大数据采集而生，易于操作和监控，提供流式抽取支持。　　号称整合各种数据源“一站式”解决ETL整个过程的架构到底是怎样的呢?没图说个X。　　　　从Gobblin的架构图来看，Gobblin的功能真的是非常的全。底层支持三种部署方式，分别是standalone，m...
Mybatis数据框架整合
weixin_44909950的博客
05-25 136
在application .yml文件中添加Mybatis配置： mybatis: mapper-locations: classpath:mapper/*.xml //填写mapper映射路径 type-aliases-package: com.demo.demo.pojo //填写实体类路径 Mybatis-generator 中pom .xml下添加mybatis-generator必要依赖，等待下载 ...
Gobblin简介
sxy0713的专栏
12-20 1069
Gobblin是LinkedIn公司开发的用于在Hadoop环境里统一数据抽取的框架。目前Gobblin可以建立多种pipelines，比如数据质量检查器、源数据管理、开发和其他操作。      Gobblin支持多种类型的数据源。例如数据库，Rest Api服务，FTP/SFTP，hdfs文件系统等，Gobblin对其中的数据抽取，转换和加载，包括任务调度，任务分片，错误处理，任务状态管理，数
大数据时代，数据实时同步解决方案的思考—最全的数据同步总结
weixin_49034832的博客
06-30 896
SyncNavigator是一款功能强大的数据库同步软件，适用于SQLSERVER, MySQL，具有自动/定时同步数据、无人值守、故障自动恢复、同构/异构数据库同步、断点续传和增量同步等功能，支持Windows xp以上所有操作系统，适用于大容量数据库快速同步。 安装包下载地址：https://www.syncnavigator.cn/Setup.zip 帮助文档地址：https://www.syncnavigator.cn/Help_zh-CN.chm Web文档地址：https://www...
Flink流计算编程--看看别人怎么用Session Window
lmalds的专栏
04-05 7453
Flink Session window early trigger
地精站点：Apache Gobblin（正在孵化）
02-09
地精站点：Apache Gobblin（正在孵化）
gobblin-metrics-0.7.0.zip
10-16
grgit.zip,使用git的groovy方法。使用git的groovy方法。
Gobblin采集kafka数据
weixin_30542079的博客
12-01 218
作者：Syn良子 出处：http://www.cnblogs.com/cssdongl 转载请注明出处 找时间记录一下利用Gobblin采集kafka数据的过程，话不多说，进入正题 一.Gobblin环境变量准备 需要配置好Gobblin0.7.0工作时对应的环境变量，可以去Gobblin的bin目录的gobblin-env.sh配置，比如 export GOBBLIN_JOB_CONFIG_DI...
Linkedin Gobblin：Hadoop 通用数据抽取框架
a153095800的博客
04-14 3911
近期需要使用Gobblin，翻看了下官方文档，结合自己的理解翻译总结了一下。 一、简介    Gobblin是一个通用的数据抽取框架，可以从一些数据源（数据库、FTP、文件、Kafka以及自定义的数据源）抽取海量数据到Hadoop上。框架在同一个地方管理所有不同数据源的元数据，同时具备可扩展、容错、数据质量保证等特性，是一个高效的数据抽取框架。 二、Gobblin架构    （
Gobblin编译支持CDH5.4.0
weixin_30668887的博客
11-23 108
作者：Syn良子 出处：http://www.cnblogs.com/cssdongl 转载请注明出处 Gobblin的前身是linkedin的Camus,好多人也用过，准备用Gobblin的方式来抽取数据，不过由于连接的集群是CDH的，而Gobblin默认支持的是hadoop2.3.0,因此需要手动编译一个支持CDH的Gobblin版本，否则使用中会遇到无法写入hdfs等不兼容的问题.整理记录其...
探秘LinkedIn的Gobblin：数据集成与管理的利器
gitblog_00045的博客
03-23 264
探秘LinkedIn的Gobblin：数据集成与管理的利器 linkedin_gobblin项目地址:https://gitcode.com/gh_mirrors/li/linkedin_gobblin 项目简介 是由LinkedIn开源的一个强大、灵活的数据集成框架。它最初设计用于大规模数据摄取，但现在已发展为支持多种数据管理和操作任务，如数据质量检查、转换、加载以及元数据管理。该项目基于Ja...
Eclipse导入Gobblin源码
fz1989的专栏
01-13 1260
Gobblin是LinkedIn一个开源的多源数据摄取框架，用Gradle打包。项目地址为：https://github.com/linkedin/gobblin 在Eclipse中没有Gradle的插件，因此需要在Eclipse Market palce里下载Gradle插件。地址为：https://marketplace.eclipse.org/content/gradle-inte
Hadoop优化的FP-Growth并行算法提升大数据处理效率
Hadoop是一个分布式计算框架，特别适合于大数据处理，通过其分布式文件系统和MapReduce模型，可以有效地处理大量数据。在这个新的算法中，他们将原始事务数据集通过负载均衡和数据分割的方式进行划分，实现了数据的...
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值