kafka
liuxiangke0210
这个作者很懒,什么都没留下…
展开
-
kafa面试问题
参考:https://github.com/shishan100/Java-Interview-Advanced 为什么使用消息队列?消息队列有什么优点和缺点?Kafka、ActiveMQ、RabbitMQ、RocketMQ 都有什么优点和缺点?为什么使用消息队列? 使用消息队列具有解耦,异步,消峰的作用。消息队列有什么优点和缺点? 优点: 使用消息队列具有解耦,异步,消峰的作用, 缺点:提高了系统的复杂性,需要考虑更多新的问题, ...原创 2020-05-16 13:16:48 · 220 阅读 · 0 评论 -
Kafka集群安装使用
原文链接: http://blog.csdn.net/z769184640/article/details/51585419Kafka介绍Kafka是一种高吞吐量的分布式发布订阅消息系统,有如下特性:通过O(1)的磁盘数据结构提供消息的持久化,这种结构对于即使数以TB的消息存储也能够保持长时间的稳定性能。高吞吐量:即使是非常普通的硬件ka转载 2017-05-02 17:18:54 · 264 阅读 · 0 评论 -
kafka数据可靠性深度解读
原文链接:http://www.7zhang.com/index/cms/read/id/310864.html摘录链接:http://www.jasongj.com/tags/Kafka/1 概述Kakfa起初是由LinkedIn公司开发的一个分布式的消息系统,后成为Apache的一部分,它使用Scala编写,以可水平扩展和高吞吐率而被广泛使用。目前越来越多的开源分布转载 2017-05-06 14:57:21 · 438 阅读 · 0 评论 -
Kafka分区机制介绍与示例
原文链接:http://lxw1234.com/archives/2015/10/538.htmKafka中可以将Topic从物理上划分成一个或多个分区(Partition),每个分区在物理上对应一个文件夹,以”topicName_partitionIndex”的命名方式命名,该文件夹下存储这个分区的所有消息(.log)和索引文件(.index),这使得Kafka的吞吐率可以水转载 2017-05-08 13:49:52 · 8260 阅读 · 0 评论 -
kafka 自定义分区实例
第一步:使用./kafka-topics.sh 命令创建topic及partitions 分区数 bin/kafka-topics.sh --create --zookeeper 192.168.31.130:2181 --replication-factor 2 --partitions 3 --topic Topic-test第二步:实现org.apache.kafka.cli原创 2017-05-08 17:21:08 · 4561 阅读 · 0 评论 -
Kafka安装配置测试
原文链接:http://lxw1234.com/archives/2015/09/510.htmKafka的整体架构:本文中的配置:在两台机器Node1和Node2上,分别部署了两个broker,Zookeeper使用的是单独的ZK集群。在每个机器上下载并解压kafka_2.10-0.8.2.1http://kafka.apach转载 2017-05-08 17:36:22 · 454 阅读 · 0 评论 -
kafka总结
原文链接:http://dataguild.org/?p=7290Kafka提供的Pub/Sub就是典型的异步消息交换,用户可以为服务器日志或者物联网设备创建不同主题(Topic),之后数据可以源源不断地发送到各个主题,后端数据仓库、流式分析或者全文检索等对接特定主题,服务器或者物联网设备是无需关心的。同时,Kafka可以将主题划分为多个分区(Partition),会根据分区规原创 2017-05-09 14:31:21 · 543 阅读 · 0 评论 -
kafka学习总结
kafka技术Broker 是kafka集群节点,一个物理节点可以有一个或者多个broker,多个broker组成一个kafka集群。Topic 是标识每一种类的消息,物理机器上并不存在,(物理上不同Topic的消息分开存储,逻辑上一个Topic的消息虽然保存于一个或多个broker上但用户只需指定消息的Topic即可生产或消费数据而不必关心数据存于何处)Partition 是物理上的概念,...原创 2018-03-15 23:05:48 · 211 阅读 · 0 评论 -
kafka架构与原理
原文链接:http://www.raincent.com/content-85-10956-1.html它可以让你发布和订阅记录流。在这方面,它类似于一个消息队列或企业消息系统。它可以让你持久化收到的记录流,从而具有容错能力。1、 简介它可以让你发布和订阅记录流。在这方面,它类似于一个消息队列或企业消息系统。它可以让你持久化收到的记录流,从而具有容错能力。首先,明确几个概念:• Kafka运行在一...转载 2018-03-25 15:31:44 · 3783 阅读 · 0 评论