![](https://img-blog.csdnimg.cn/20201014180756925.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Gobblin
a153095800
这个作者很懒,什么都没留下…
展开
-
Gobblin Kafka Source源码分析
Kafka Source主要任务是根据配置文件指定的Topic,读取相应的信息,划分Work Unit。一、getWorkunits() 该函数是重写的抽象类Source中的getWorkunits(),划分Work Unit过程由此开始。函数实例化KafkaWrapper用于访问Kafka,获取相关信息。KafkaWrapper是G原创 2017-04-18 15:04:52 · 1517 阅读 · 5 评论 -
Linkedin Gobblin:Hadoop 通用数据抽取框架
近期需要使用Gobblin,翻看了下官方文档,结合自己的理解翻译总结了一下。一、简介 Gobblin是一个通用的数据抽取框架,可以从一些数据源(数据库、FTP、文件、Kafka以及自定义的数据源)抽取海量数据到Hadoop上。框架在同一个地方管理所有不同数据源的元数据,同时具备可扩展、容错、数据质量保证等特性,是一个高效的数据抽取框架。二、Gobblin架构 (翻译 2017-04-14 15:57:57 · 3893 阅读 · 0 评论