自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(5)
  • 资源 (1)
  • 收藏
  • 关注

原创 4、Apache Hudi:Spark读取Binlog并写入

1、数据准备使用canal将mysql binlog的数据发送到kafka中2、程序编写1、消费kafka中的binlog数据val kafkaParams = Map[String, String]( "bootstrap.servers" -> "xxx.xxx.xxx.xxx:9092", "auto.offset.reset" -> "latest", "key....

2019-12-11 15:11:45 3304 7

原创 2、Apache Hudi入门

1、编译github地址:https://github.com/apache/incubator-hudicd incubator-hudi-hoodie-0.4.7mvn clean install -DskipITs -DskipTests -Dhadoop.version=2.6.0-cdh5.13.0 -Dhive.version=1.1.0-cdh5.13.02、...

2019-12-11 14:23:20 2478 1

原创 1、Apache Hudi简介

参考文档:https://www.iteblog.com/archives/9660.html

2019-12-11 14:22:40 6898

原创 SparkSQL集成sentry权限认证

0、SparkSQL要集成sentry权限认证要解决下面几个问题:1、从hive认证hook中找到sentry认证方法,并将认证代码提取出来2、从spark sql的逻辑计划中提取sentry认证方法所需的参数3、通过spark sql extensions将认证添加到spark sql的执行过程中1、提取sentry认证方法从sentry源代码中逐步查看hive hook的代码,终于找...

2019-11-05 19:15:16 1986 3

原创 Kyuubi采坑记录

1、hive meta server使用sentry权限认证,kyuubi在opensession的时候初始化默认数据库会报空指针异常问题版本:0.8原因:hive metahook过滤元数据的时候需要从配置中获取用户名,属性名是hive.sentry.subject.name,但是在sparkcontext初始化的时候并没有设置该属性解决方案:在sparkcontext初始化的时候设置参数...

2019-11-04 18:22:09 1068

Atlas文档-中文版.docx

Atlas是通用软件组件的工具箱,可以帮助开发校准和测试站点。Atlas由硬件测试工程(HWTE)的一个小组开发和维护。Atlas是采用Rush语言编写程序,安装Atlas自动提供英文版文档,为了方便初学者学习Atlas开发,特地将文档翻译成中文版。使苹果软件开发更便捷。

2019-11-26

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除