Kafka
文章平均质量分 77
lipeng_bigdata
这个作者很懒,什么都没留下…
展开
-
Kafka分布式安装及验证测试
Kafka依赖于ZooKeeper,所以在安装Kafka之前请确保ZooKeeper集群已安装正确并能正常运行。虽然Kafka自身内置了ZooKeeper,但是还是建议大家单独部署ZooKeeper集群,因为可能其他框架也需要使用ZooKeeper。安装完毕后,可通过创建topic,控制台模拟producer和consumer来验证Kafka是否已正确安装并能正确运行。原创 2016-04-01 09:25:54 · 7661 阅读 · 0 评论 -
(转载)从Apache Kafka 重温文件高效读写
文章转自《从Apache Kafka 重温文件高效读写》,地址:http://calvin1978.blogcn.com/articles/kafkaio.html! 写的非常不多,转载下来!0. Overview卡夫卡说:不要害怕文件系统。它就那么简简单单地用顺序写的普通文件,借力于Linux内核的Page Cache,不(显式)用内存,胜用内存,完全没有别家那样要同时维护内存中数转载 2016-05-11 13:41:00 · 6336 阅读 · 0 评论 -
Kafka源码分析之KafkaProducer
KafkaProducer是一个Kafka客户端实现,可以发布记录records至Kafka集群。KafkaProducer是线程安全的,多线程之间共享单独一个producer实例通常会比多个producer实例要快。KafkaProducer包含一组缓存池空间,存储尚未传输到集群的记录records,同时,一个后台的I/O线程负责将这些记录转换成请求,并发送至集群。使用之后关闭producer失败将会导致这些资源泄露。原创 2016-04-11 16:45:13 · 3309 阅读 · 0 评论 -
Kafka源码分析之InFlightRequests
InFlightRequests是对已经被发送或正在被发送但是均未接收到响应的客户端请求集合的一个封装。原创 2016-04-11 15:47:55 · 2071 阅读 · 0 评论 -
Kafka源码分析之Sender
Sender为处理发送produce请求至Kafka集群的后台线程。这个线程更新集群元数据,然后发送produce请求至适当的节点。原创 2016-04-10 17:41:04 · 1942 阅读 · 3 评论 -
Kafka源码分析之KafkaProducer发送数据send()方法
KafkaProducer是Kafka中Producer的一种实现,其主要功能就是发送消息给Kafka中broker。其send()方法如下: /** * Asynchronously send a record to a topic. Equivalent to send(record, null). * See {@link #send(ProducerRecor原创 2016-04-10 14:51:50 · 25871 阅读 · 3 评论 -
Kafka源码分析之RecordAccumulator
RecordAccumulator作为一个队列,累积记录records到MemoryRecords实例,然后被发送到服务器server。原创 2016-04-10 14:44:46 · 1811 阅读 · 0 评论 -
Kafka源码分析之MemoryRecords
MemoryRecords是Kakfa中Record在内存中的实现形式,它基于Java NIO中ByteBuffer来实现。原创 2016-04-10 14:03:03 · 2487 阅读 · 0 评论 -
Kafka源码分析之RecordBatch
RecordBatch是Kafka中Producer中对批量记录的一个封装,它表示正在或将要被发送的一批记录。这个类不是线程安全的,当修改它时必须使用外部同步。原创 2016-04-10 13:11:12 · 2601 阅读 · 1 评论 -
Kafka中基于byte[]的murmur2 哈希算法实现
无需赘言,直接上代码: /** * Generates 32 bit murmur2 hash from byte array * 根据一个byte数组产生一个32位的murmur2 hash值 * * @param data byte array to hash * @return 32 bit hash of the given a原创 2016-04-01 16:16:27 · 3031 阅读 · 0 评论 -
Kafka Java API示例
Kafka Java API示例原创 2016-04-01 13:21:37 · 11017 阅读 · 0 评论 -
(转载)Kafka文件存储机制那些事
转自《Kafka文件存储机制那些事》,by美团点评技术团队,地址:http://tech.meituan.com/kafka-fs-design-theory.html! 分析的很不错,转载下来! Kafka是什么Kafka是最初由Linkedin公司开发,是一个分布式、分区的、多副本的、多订阅者,基于zookeeper协调的分布式日志系统(也可以当做MQ系统),常见可转载 2016-05-11 13:47:49 · 5116 阅读 · 0 评论