![](https://img-blog.csdnimg.cn/20201014180756754.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
kafka
文章平均质量分 75
molamoladao
初级码农,三分钟追星十级选手
展开
-
Kafka Connect API
Kafka Connect是一个用于将数据流输入和输出Kafka的框架。Kafka Connect基本概念Kafka Connect实际上是Kafka流式计算的一部分Kafka Connect主要用来与其他中间件建立流式通道Kafka Connect支持流式和批处理集成Kafka connect 架构图Kafka Connect关键词Connectors:通过管理task来协调数据流的高级抽象Tasks:如何将数据复制到Kafka或从Kafka复制数据的实现Workers:执行Co原创 2021-05-25 23:15:44 · 313 阅读 · 0 评论 -
Kafka Streams流式计算API
1 流式计算流式计算的实时性很高,一般被用来和批量计算作比较:批量计算往往有一个固定的数据集作为输入并计算结果。流式计算的输入往往是“无界”的(Unbounded Data),持续输入的,即永远拿不到全量数据去做计算;计算结果也是持续输出的,只能拿到某一个时刻的结果,而不是最终的结果。批量计算是全量的:拿到一批数据,计算一个结果;流式计算是增量的:数据持续输入,持续计算最新的结果。举个例子,统计电商网站一天中不同地区的订单量:批量计算的方式:在一天过去之后(产生了固定的输入),扫描所有的订转载 2021-05-14 18:13:32 · 603 阅读 · 0 评论 -
macos 一些kafka命令整理
1 Kafka bin目录路径/usr/local/Cellar/kafka/bin,里面包含Kafka的各种操作命令:kafka-server-start,服务启动命令kafka-server-stop,服务停止命令kafka-topics,主题操作命令kafka-console-producer,生产消息命令kafka-console-consumer,消费消息2 Kafka的配置文件路径/usr/local/etc/kafkazookeeper.properties,zo原创 2021-05-14 13:45:22 · 505 阅读 · 0 评论 -
Mac,使用brew安装kafka出错:kafka: Unsupported special dependency :java
先说结论:先安装zookeeper,brew install zookeeper修改 /usr/local/Homebrew/Library/Taps/homebrew/homebrew-core/Formula/kafka.rb 文件,将depends_on "java"改为depends_on “openjdk”重新brew install kafka成功(或者可以试试跳过第一步,在这里第一步只是为了引入openjdk依赖)解释说明:科学上网搜索了一下暂时没找到一样的问题,但是很多教程原创 2021-05-10 15:39:54 · 1982 阅读 · 0 评论