kafka
文章平均质量分 58
iteye_15241
这个作者很懒,什么都没留下…
展开
-
Kafka介绍
1、 概述Kafka是Linkedin于2010年12月份开源的消息系统,它主要用于处理活跃的流式数据。活跃的流式数据在web网站应用中非常常见,这些数据 包括网站的pv、用户访问了什么内容,搜索了什么内容等。 这些数据通常以日志的形式记录下来,然后每隔一段时间进行一次统计处理。传统的日志分析系统提供了一种离线处理日志信息的可扩展方案,但若要进行实时处理,通常会有较大延迟。而现有的消...原创 2014-04-23 18:02:47 · 77 阅读 · 0 评论 -
Kafka0.8.0集群构建
三台集测环境机器IP:192.168.3.97 IP:192.168.3.145 IP:192.168.3.146一. Zookeeper集群构建ZooKeeper集群中具有两个关键的角色:Leader和Follower。集群中所有的结点作为一个整体对分布式应用提供服务,集群中每个结点之间都互相连接。ZooKeeper采用一种称为Leader election的选举算法。在整个集...原创 2014-05-11 11:22:33 · 114 阅读 · 0 评论 -
Kafka分布式消息发布和订阅系统简介
在kafka官网上对kafka的 定义叫:A distributed publish-subscribe messaging system。publish-subscribe是发布和订阅的意思,所以更准确的说kafka是一个消息订阅和发布的系统。publish- subscribe这个概念很重要,因为kafka的设计理念就可以从这里说起。 Kafka有哪些吸引程序员去使用的特点:...原创 2014-05-11 11:22:24 · 193 阅读 · 0 评论 -
kafka集权搭建问题
近期在搭建kafka集群中。由于偷懒,在conf/server.properties中的host.name,未设置从而导致集群访问不到的问题哦。所以希望后期搭建的时候。host.name需要改成当前IP地址(如果不改,client访问集群时,如果没在hosts配置对应机器的 hostname,访问将会报错)...原创 2014-05-09 09:59:41 · 281 阅读 · 0 评论 -
Kafka MetaQ Beanstalkd 的内部实现
Kafka 内部实现:Kafka 官方说明了 Kafka 的各种优点,包含:FileTransfer 的 zero copy 的 IO 实现; 直接写磁盘, 而不做复杂的内存和文件系统之间的转换; 磁盘顺序读写带来的高吞吐; 直接用系统的 page cache 做文件缓存管理, 程序本身不进行缓存管理; 实现了复制高可用; 依赖 Zookeeper 实现客户端的协调和状态存储;但是这...原创 2014-04-24 11:24:30 · 210 阅读 · 0 评论 -
Kafka之海量数据处理
Linkedln作为最近最热的社交网站,受到了与会者们的重点关注。开源的Kafka是Linkedln的开源消息队列——包括数据跟踪、记录、指标、消息和队列。仅仅由7000行Scala编写,据了解,Kafka每秒可以生产约25万消息(50 MB),每秒处理55万消息(110 MB)。在 kafka的核心思路中,不需要在内存里缓存数据,因为操作系统的文件缓存已经足够完善和强大,只要不做随机写,...原创 2014-04-24 11:21:49 · 479 阅读 · 0 评论 -
Kafka单机环境开发示例
在Kafka下载页面下载0.8版本,解压缩。1.修改config目录下的server.properties 里面的host.name为机器的ip。假如部署kafka和开发运行kafka例子为同一台机器,不用修改,用默认的localhost也行。2.修改config目录下的zookeeper.properties 里面的dataDir属性为你需要的目录。3.假如你要配置集群,在kafk...原创 2014-04-24 11:20:33 · 78 阅读 · 0 评论 -
Kafka-broker配置说明
配置文件在config/server.properties下面的一些配置可能是你需要进行修改的。 broker.id整数,建议根据ip区分 log.dirskafka存放消息文件的路径,默认/tmp/kafka-logsportbroker用于接收producer消息的端口...原创 2014-04-24 10:56:23 · 217 阅读 · 0 评论 -
Kafka命令行常用命令说明
##查看topic分布情况kafka-list-topic.shbin/kafka-list-topic.sh --zookeeper 192.168.197.170:2181,192.168.197.171:2181 (列出所有topic的分区情况)bin/kafka-list-topic.sh --zookeeper 192.168.197.170:2181,192.168.1...原创 2014-04-24 10:51:49 · 151 阅读 · 0 评论 -
kafka单机版安装
1单机 安装安装过程,参考官网: > tar xzf kafka-<VERSION>.tgz> cd kafka-<VERSION>> ./sbt update> ./sbt package> ./sbt assembly-package-dependency出现问题1 在安装 0.8 版本时,出现如下问题...原创 2014-04-23 18:23:06 · 85 阅读 · 0 评论 -
kafka映射外网IP
1、修改本地host116.231.200.11 node12、修改程序kafka配置文件metadata.broker.list=node1:91metadata.broker.port=91request.required.acks=1zookeeper.list=node1:84 3、修改kafka的server.properties修改host.name=node1、...原创 2014-05-20 19:14:02 · 1899 阅读 · 0 评论