大数据
明文存密码
这个作者很懒,什么都没留下…
展开
-
Datax支持kerberos认证
一、DataX很好用https://github.com/alibaba/DataX看到本篇之前,基本都从其他blog了解过datax(此处轻吹千字...)二、DataX不支持Kerberos由于阿里内部讨论过hdfs使用kerberos认证弊大于利,故不提供Kerberos认证能力。三、着手改造DataX由于我等厂商使用的是CDH组件,所以Hadoop都开启了Kerber...原创 2019-05-04 20:10:55 · 4589 阅读 · 0 评论 -
Colocat Join 理解
前言 在使用Doris的时候,help create table发现colocat join的建表语句,但是从未见过colocat join这个词语。所以想了解什么意思,但是百度翻译中文“共置联结”,搜了下bing,来勉强解释下。//Doris help create table 7. 创建两张支持Colocat Join的表t1 和t2 CREATE ...原创 2019-06-19 21:38:36 · 1537 阅读 · 0 评论 -
DataX--TxtFileWriter不写数据问题
写在前面我在用datax开发同步工具插件,需要从kafka消费数据,写入HIVE中。测试工具的时候先使用TxtFileWriter作为writer,观察中间结果。遇到问题由于我在reader里面使用while(true)来消费数据。如下图,打日志发现数据读到了,也sendToWriter了,但是生产文件大小为0 public void startRead(RecordSe...原创 2019-06-11 10:26:19 · 2794 阅读 · 2 评论