Kafka
Quinto0
Learning is the highest
展开
-
confluent connect写出到ES及ClickHouse
1 连接Elasticsearch测试1.1 启动confluent/home/kafka/.local/confluent/bin/confluent startThis CLI is intended for development only, not for productionhttps://docs.confluent.io/current/cli/index.htmlUsing CONFLUENT_CURRENT: /tmp/confluent.swpIapNwStarting z原创 2020-06-29 20:49:19 · 2147 阅读 · 1 评论 -
Confluent介绍及其使用
1 confluent介绍Confluent是用来管理和组织不同数据源的流媒体平台,可以实时地把不同源和位置的数据集成到一个中心的事件流平台。并且很可靠、性能很高。Confluent目前提供了社区版(免费)和商业版()收费两个版本,社区版提供了Connectors、REST Proxy、KSQL、Schema-Registry等基础服务。商业版为企业提供了控制面板、负载均衡,跨中心数据备份、安全防护等高级特性。1.2 服务功能介绍1.2.1 ZookeeperZookeeper是一个开放源码的分布原创 2020-06-29 20:41:59 · 8364 阅读 · 0 评论 -
Kafka基础
Kafka基础1 消息队列1.1 什么是消息队列消息队列(MQ):消息+队列,保存消息的队列。消息的传输过程中的容器;主要提供生产、消费接口供外部调用做数据的存储和获取。1.2 为什么要有消息队列当网站面对教大的流量冲击,在网站系统中一般会有一个消息存储/缓存系统(即消息队列,也叫消息中间件),网站...原创 2019-09-30 09:48:05 · 497 阅读 · 0 评论 -
Kafka高性能相关
Kafka高性能相关1高性能原因1.1 高效使用磁盘(1)顺序写磁盘,顺序写磁盘性能高于随机写内存(2)Append Only 数据不更新,无记录级的数据删除(只会整个segment删除)(3)充分利用Page Cache,I/O Scheduler将连续的小块写组装成大块的物理写从而提高性能,...原创 2019-09-30 10:25:39 · 226 阅读 · 0 评论