自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(5)
  • 收藏
  • 关注

原创 Ldap服务器搭建流程

之前搭建了个Ldap服务器,今天想要再另一台机器上搭建的时候发现很多地方还是会遇到坑,于是将搭建过程梳理记录下来,避免以后再遇到坑一、安装配置ldap1、 安装ldap       yum install -y openldap*2、拷贝配置文件       cp /usr/share/openldap-servers/slapd.conf.obsolete /etc/openldap/slapd...

2018-05-25 14:29:03 9028

原创 Superset使用LDAP登陆模式

使用Superset过程中的又一个坑,按照配置文件config.py中的提示去配置,能成功才有鬼了。。。不断的打日志,追溯,终于搞定了配置:配置:from flask_appbuilder.security.manager import AUTH_DB,AUTH_LDAP //这里的LDAP得自己加上AUTH_TYPE = AUTH_LDAPAUTH_LDAP_SERVER = "ldap:/

2017-12-31 10:39:37 4936 2

原创 在Superset中使用SparkSQL详解

Superset官方文档中提供了一种SparkSQL的使用方法,然而似乎并不起作用,无意中看到一篇文章提到impyla可以解决这个问题,于是实验了一下,填了诸多坑之后,终于搞定了,把详细过程记录下来,供大家参考,顺便做个备忘~Superset安装配置这个网上有太多实例,不再赘述SparkSQL使用配置1、安装impyla pip install impyla2、在Superset中配置Spa

2017-12-31 10:19:19 5261 1

原创 Gobblin Kafka Source源码分析

Kafka Source主要任务是根据配置文件指定的Topic,读取相应的信息,划分Work Unit。一、getWorkunits()  该函数是重写的抽象类Source中的getWorkunits(),划分Work Unit过程由此开始。函数实例化KafkaWrapper用于访问Kafka,获取相关信息。KafkaWrapper是G

2017-04-18 15:04:52 1547 5

翻译 Linkedin Gobblin:Hadoop 通用数据抽取框架

近期需要使用Gobblin,翻看了下官方文档,结合自己的理解翻译总结了一下。一、简介   Gobblin是一个通用的数据抽取框架,可以从一些数据源(数据库、FTP、文件、Kafka以及自定义的数据源)抽取海量数据到Hadoop上。框架在同一个地方管理所有不同数据源的元数据,同时具备可扩展、容错、数据质量保证等特性,是一个高效的数据抽取框架。二、Gobblin架构   (

2017-04-14 15:57:57 3909

空空如也

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除