![](https://img-blog.csdnimg.cn/20201014180756925.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
大数据
ylejun
这个作者很懒,什么都没留下…
展开
-
Kafka Connect transform初体验
可以配置Kafka Connector transforms以进行一个轻量级的消息修改。transforms可以方面的修改数据以及事件路由。接下来我们将介绍如何配置一个transform。首先,我们要在任务中配置transform,无论source 还是sink都可以配置transform{ "name": "test-source", "config": { "connector.class": "io.debezium.connector.mysql.MyS...原创 2020-07-12 14:14:52 · 2560 阅读 · 0 评论 -
Kafka Connect 启动服务以及提交任务初体验
Kafka提供两种启动方式,一种是单机版standalone,一种是分布式版distributed,与之想对应的配置文件也是分开的单机版的配置文件:connect-standalone.properties分布式的配置文件:connect-distributed.properties单机启动方式:bin/connect-standalone.sh -daemon config/connect-standalone.propertiesconfig/connect-console-sink....原创 2020-07-11 00:22:36 · 2901 阅读 · 4 评论 -
一文带你了解最新发布的Apache Flink 1.11.0
来源|Apache Flink 官方博客翻译| 高赟(云骞)Apache Flink 社区很荣幸的宣布 Flink 1.11.0 版本正式发布!超过 200 名贡献者参与了 Flink 1.11.0 的开发,提交了超过 1300 个修复或优化。这些修改极大的提高了 Flink 的可用性,并且增强了各个 API 栈的功能。其中一些比较重要的修改包括: 核心引擎部分引入了非对齐的 Checkpoint 机制。这一机制是对 Flink 容错机制的一个重要改进,它可以提高严重反压作业...转载 2020-07-07 23:17:53 · 1894 阅读 · 0 评论 -
Kafka Connect 简介
Kafka Connect is a tool for scalably and reliably streaming data between Apache Kafka and other systems. It makes it simple to quickly defineconnectorsthat move large collections of data into and out of Kafka. Kafka Connect can ingest entire databases or..原创 2020-07-07 00:01:55 · 332 阅读 · 0 评论 -
Hive jdbc 提交任务失败 提示 queue.default already has 0 applications, cannot accept submission of applicaion
今天遇到一个问题,通过jdbc的方式去执行 hive sql 提示:1. hive server2 没有修改过任何配置2. hive server2 没有重启过当时决定比较灵异,因为我们对用户和队列有做了映射最后发现capacity-scheduler.xml 用户和组对映射丢失了,十分奇怪最终解决办法:在capacity-scheduler.xml 增加用户和组的映射<property> <name>yarn.scheduler.capacit原创 2020-07-02 00:25:26 · 1477 阅读 · 0 评论