Kafka
文章平均质量分 69
Wang_Zhenwei
这个作者很懒,什么都没留下…
展开
-
Kafka设计剖析(一):Kafka背景及架构介绍
Kafka是由LinkedIn开发的一个分布式的消息系统,使用Scala编写,它以可水平扩展和高吞吐率而被广泛使用。目前越来越多的开源分布式处理系统如Cloudera、Apache Storm、Spark都支持与Kafka集成。InfoQ一直在紧密关注Kafka的应用以及发展,“Kafka剖析”专栏将会从架构设计、实现、应用场景、性能等方面深度解析Kafka。背景介绍Kafka创建背景转载 2015-09-09 11:01:04 · 1186 阅读 · 4 评论 -
Kafka学习2_apache kafka系列之在zookeeper中存储结构
说明:apache kafka中国社区QQ群:162272557(已满员)1.topic注册信息/brokers/topics/[topic] :存储某个topic的partitions所有分配信息Schema:{ "version": "版本编号目前固定为数字1", "partitions": {转载 2015-11-02 10:08:32 · 662 阅读 · 0 评论 -
Kafka错误4_ 远程链接Kafka时报错Failed to send messages after 3 tries
如果是在同一台机器(localhost),Kafka和Java Client工作正常,Producer和Consumer都能正常发送和接收消息,但是一旦部署到两台机器,则默认配置的话不能正常工作。会出现“kafka.common.FailedToSendMessageException: Failed to send messages after 3 tries”的错误。[2015-07-转载 2015-11-02 09:58:02 · 7161 阅读 · 0 评论 -
[user@kafka.apache.org]Errors after reboot on single node setup
这个是产生:http://blog.csdn.net/wang_zhenwei/article/details/49681859 ([KAFKA-1724]Errors after reboot in single node setup)的过程,一个Kafka的使用者在使用过程中遇到问题:原文地址:http://comments.gmane.org/gmane.comp翻译 2015-11-06 16:14:27 · 880 阅读 · 0 评论 -
[KAFKA-1724]Errors after reboot in single node setup
来自Apache官网:https://issues.apache.org/jira/browse/KAFKA-1724报错描述,提交者在关闭Kafka时,遇到一个异常错误,详细描述如下:DetailsType:Bug BugStatus:RESOLVEDPriority:Major MajorResolution: FixedAffects Version/s:0.翻译 2015-11-06 13:32:22 · 1388 阅读 · 0 评论 -
Kafka学习3_Kafka命令行常用命令说明
基于0.8.0版本。##查看topic分布情况kafka-list-topic.shbin/kafka-list-topic.sh --zookeeper 192.168.197.170:2181,192.168.197.171:2181 (列出所有topic的分区情况)bin/kafka-list-topic.sh --zookeeper 192.168.197.转载 2015-11-12 10:49:55 · 1087 阅读 · 0 评论 -
Kafka学习4_Kafka创建、查看和删除Topic
进行Kafka相关操作和测试,创建的Topic越来越多,影响到了后续工作的正常进行,所以对已经创建的Topic进行管理。创建Topic[hadoop@Slave1 bin]$ cd[hadoop@Slave1 ~]$ cd /usr/local/kafka/bin[hadoop@Slave1 bin]$ sh kafka-topics.sh --create --topic k原创 2015-11-12 11:03:42 · 24675 阅读 · 1 评论 -
Kibana User Guide [4.2] » Settings » Setting Kibana Server Properties
Setting Kibana Server Properties设置Kibana服务器属性The Kibana server reads properties from the kibana.yml file on startup. The default settings configure Kibana to run on localhost:5601. To chan翻译 2015-11-23 17:15:19 · 1707 阅读 · 0 评论 -
Kafka学习5_server.properties系统配置说明
通常而言我们的kafka的配置如下所示:?12345678910111213141516broker.id=0num.network.threads=2num.io.threads=8socket转载 2015-12-07 20:48:32 · 863 阅读 · 0 评论 -
Kafka学习6_关于Kafka 的消息日志Offset 的了解
之前在做Kafka 整合Storm的时候,因为对Kafka 不是很熟,考虑过这样的一个场景问题,针对一个Topic,Kafka消息日志中有个offset信息来标注消息的位置,Storm每次从kafka 消费数据,都是通过zookeeper存储的数据offset,来判断需要获取消息在消息日志里的起始位置。那么我们想,这个Offset 是消息在日志里是一个什么样的位置,是绝对位置还是相转载 2015-12-07 21:15:19 · 2430 阅读 · 0 评论 -
Kafka学习7_使用log.retention.hours改变消息端的消息保存时间
数据存储的最大时间超过这个时间会根据log.cleanup.policy设置的策略处理数据,也就是消费端能够多久去消费数据log.retention.bytes和log.retention.hours任意一个达到要求,都会执行删除,会被topic创建时的指定参数覆盖。在server.properties里设置log.retention.hours=1启动Kafka后,新建一个终原创 2015-12-08 08:58:12 · 14530 阅读 · 2 评论 -
Kafka学习1_kafka入门:简介、使用场景、设计原理、主要配置及集群搭建
一、入门 1、简介 Kafka is a distributed,partitioned,replicated commit logservice。它提供了类似于JMS的特性,但是在设计实现上完全不同,此外它并不是JMS规范的实现。kafka对消息保存时根据Topic进行归类,发送消息者成为Producer,消息接受者成为Consumer,此外kafka集群有多个kaf转载 2015-10-27 16:07:27 · 807 阅读 · 0 评论 -
Kafka错误3_kafka中 FailedToSendMessageException解决_集群启动问题
进行Kafka简单操作时,按照以下的过程进行,但是发现报FailedToSendMessageException错误,寻找原因。Kafka:目录:cd /usr/local/kafka启动:sh bin/kafka-server-start.sh config/server.properties列出所建的主题:bin/kafka-topics.sh --list原创 2015-10-14 09:04:34 · 3370 阅读 · 0 评论 -
Kafka设计解析(二):Kafka High Availability (上)
Kafka在0.8以前的版本中,并不提供High Availablity机制,一旦一个或多个Broker宕机,则宕机期间其上所有Partition都无法继续提供服务。若该Broker永远不能再恢复,亦或磁盘故障,则其上数据将丢失。而Kafka的设计目标之一即是提供数据持久化,同时对于分布式系统来说,尤其当集群规模上升到一定程度后,一台或者多台机器宕机的可能性大大提高,对Failover要求非常高。转载 2015-09-09 14:07:46 · 545 阅读 · 0 评论 -
Kafka设计解析(三):Kafka High Availability (下)
Kafka是由LinkedIn开发的一个分布式的消息系统,使用Scala编写,它以可水平扩展和高吞吐率而被广泛使用。目前越来越多的开源分布式处理系统如Cloudera、Apache Storm、Spark都支持与Kafka集成。InfoQ一直在紧密关注Kafka的应用以及发展,“Kafka剖析”专栏将会从架构设计、实现、应用场景、性能等方面深度解析Kafka。本文在上篇文章基础上,更加深入讲解转载 2015-09-09 14:43:44 · 735 阅读 · 0 评论 -
Kafka设计解析(四):Kafka Consumer解析
High Level Consumer很多时候,客户程序只是希望从Kafka读取数据,不太关心消息offset的处理。同时也希望提供一些语义,例如同一条消息只被某一个Consumer消费(单播)或被所有Consumer消费(广播)。因此,Kafka High Level Consumer提供了一个从Kafka消费数据的高层抽象,从而屏蔽掉其中的细节并提供丰富的语义。Consumer Gro转载 2015-09-09 15:36:33 · 1170 阅读 · 0 评论 -
CentOS6.5下kafka+ZooKeeper下载与安装详细教程-多机版本1
使用三台主机,对应的主机名和IP地址是:192.168.154.158 Slave1192.168.154.159 Slave2192.168.154.160 Slave3 文件配置:(注:修改配置文件需要使用root用户,否则修改失败)vim /etc/sysconfig/network修改主机名为:HOSTNAME=Slave1vim /etc/hosts原创 2015-09-10 17:19:10 · 1538 阅读 · 0 评论 -
CentOS6.5下kafka+ZooKeeper下载与安装详细教程-单机版
下载zookeeper:下载地址:http://mirrors.cnnic.cn/apache/zookeeper/zookeeper-3.4.6/zookeeper-3.4.6.tar.gz 安装zookeeper:将zookeeper-3.4.6.tar.gz拿U盘复制到/home/hadoop目录下 cd /home/hadoop打开目录/home/hadoop原创 2015-09-10 10:20:23 · 3542 阅读 · 0 评论 -
CentOS6.5下kafka+ZooKeeper下载与安装详细教程-多机版本2
前期配置参考:http://blog.csdn.net/wang_zhenwei/article/details/48346327 前期主要内容包括:使用三台主机,对应的主机名和IP地址是:192.168.154.158 Slave1192.168.154.159 Slave2192.168.154.160 Slave3 文件配置: 下载zookeepe原创 2015-09-11 00:54:49 · 2564 阅读 · 0 评论 -
CentOS6.5下kafka+ZooKeeper下载与安装详细教程-多机版本2-附录
Slave1启动kafka服务的显示结果:[root@Slave1 kafka]# sh bin/kafka-server-start.sh config/server.properties[2015-09-10 08:42:17,026] INFO Verifying properties (kafka.utils.VerifiableProperties)[2015-09-10 0原创 2015-09-11 00:56:16 · 1850 阅读 · 0 评论 -
CentOS6.5下kafka+ZooKeeper操作整理
关闭防火墙:service iptables stop (以下操作在Slave1、Slave2、Slave3上都有进行)Zookeeper:目录:cd /usr/local/zookeeper 启动zookeeper:[root@Slave1 zookeeper]# cd bin[root@Slave1 bin]# sh zkServer.sh start原创 2015-09-25 20:21:56 · 1634 阅读 · 0 评论 -
Kafka错误1_kafka中 FailedToSendMessageException解决_修改host.name
注:在启动Kafka的过程中,同样遇到这个问题,在将host.name=Slave1host.name=Slave2host.name=Slave3后面改为机器的IP地址后,解决问题;原文来自:http://my.oschina.net/u/1475616/blog/343875这两天在学kafka,把官网上的demo部署到自转载 2015-09-27 19:15:13 · 14848 阅读 · 0 评论 -
Kafka错误2_ERROR Unexpected exception, exiting abnormally异常的一种原因
继续进行尝试,在Slave1、Slave2、Slave3上启动zookeeper,并未关闭时,去Kafka下进行操作:[root@Slave1 local]# cd kafka/bin[root@Slave1 bin]# lskafka-console-consumer.sh kafka-run-class.shkafka-console-producer.sh原创 2015-10-10 15:25:05 · 11252 阅读 · 0 评论 -
Kafka学习8_kafka java 生产消费程序demo示例
kafka是吞吐量巨大的一个消息系统,它是用scala写的,和普通的消息的生产消费还有所不同,写了个demo程序供大家参考。kafka的安装请参考官方文档。首先我们需要新建一个maven项目,然后在pom中引用kafka jar包,引用依赖如下:?12345dependency> gr转载 2015-12-08 10:18:50 · 1196 阅读 · 0 评论