kafka
文章平均质量分 58
iteye_15241
这个作者很懒,什么都没留下…
展开
-
Kafka介绍
1、 概述 Kafka是Linkedin于2010年12月份开源的消息系统,它主要用于处理活跃的流式数据。活跃的流式数据在web网站应用中非常常见,这些数据 包括网站的pv、用户访问了什么内容,搜索了什么内容等。 这些数据通常以日志的形式记录下来,然后每隔一段时间进行一次统计处理。 传统的日志分析系统提供了一种离线处理日志信息的可扩展方案,但若要进行实时处理,通常会有较大延迟。而现有的消...原创 2014-04-23 18:02:47 · 77 阅读 · 0 评论 -
Kafka0.8.0集群构建
三台集测环境机器 IP:192.168.3.97 IP:192.168.3.145 IP:192.168.3.146 一. Zookeeper集群构建 ZooKeeper集群中具有两个关键的角色:Leader和Follower。集群中所有的结点作为一个整体对分布式应用提供服务,集群中每个结点之间都互相连接。ZooKeeper采用一种称为Leader election的选举算法。在整个集...原创 2014-05-11 11:22:33 · 113 阅读 · 0 评论 -
Kafka分布式消息发布和订阅系统简介
在kafka官网上对kafka的 定义叫:A distributed publish-subscribe messaging system。publish-subscribe是发布和订阅的意思,所以更准确的说kafka是一个消息订阅和发布的系统。publish- subscribe这个概念很重要,因为kafka的设计理念就可以从这里说起。 Kafka有哪些吸引程序员去使用的特点: ...原创 2014-05-11 11:22:24 · 193 阅读 · 0 评论 -
kafka集权搭建问题
近期在搭建kafka集群中。由于偷懒,在conf/server.properties中的host.name,未设置从而导致集群访问不到的问题哦。 所以希望后期搭建的时候。host.name需要改成当前IP地址 (如果不改,client访问集群时,如果没在hosts配置对应机器的 hostname,访问将会报错) ...原创 2014-05-09 09:59:41 · 281 阅读 · 0 评论 -
Kafka MetaQ Beanstalkd 的内部实现
Kafka 内部实现: Kafka 官方说明了 Kafka 的各种优点,包含: FileTransfer 的 zero copy 的 IO 实现; 直接写磁盘, 而不做复杂的内存和文件系统之间的转换; 磁盘顺序读写带来的高吞吐; 直接用系统的 page cache 做文件缓存管理, 程序本身不进行缓存管理; 实现了复制高可用; 依赖 Zookeeper 实现客户端的协调和状态存储; 但是这...原创 2014-04-24 11:24:30 · 208 阅读 · 0 评论 -
Kafka之海量数据处理
Linkedln作为最近最热的社交网站,受到了与会者们的重点关注。开源的Kafka是Linkedln的开源消息队列——包括数据跟踪、记录、指标、消息和队列。仅仅由7000行Scala编写,据了解,Kafka每秒可以生产约25万消息(50 MB),每秒处理55万消息(110 MB)。 在 kafka的核心思路中,不需要在内存里缓存数据,因为操作系统的文件缓存已经足够完善和强大,只要不做随机写,...原创 2014-04-24 11:21:49 · 474 阅读 · 0 评论 -
Kafka单机环境开发示例
在Kafka下载页面下载0.8版本,解压缩。 1.修改config目录下的server.properties 里面的host.name为机器的ip。假如部署kafka和开发运行kafka例子为同一台机器,不用修改,用默认的localhost也行。 2.修改config目录下的zookeeper.properties 里面的dataDir属性为你需要的目录。 3.假如你要配置集群,在kafk...原创 2014-04-24 11:20:33 · 76 阅读 · 0 评论 -
Kafka-broker配置说明
配置文件在config/server.properties 下面的一些配置可能是你需要进行修改的。 broker.id 整数,建议根据ip区分 log.dirs kafka存放消息文件的路径, 默认/tmp/kafka-logs port broker用于接收producer消息的端口 ...原创 2014-04-24 10:56:23 · 212 阅读 · 0 评论 -
Kafka命令行常用命令说明
##查看topic分布情况kafka-list-topic.sh bin/kafka-list-topic.sh --zookeeper 192.168.197.170:2181,192.168.197.171:2181 (列出所有topic的分区情况) bin/kafka-list-topic.sh --zookeeper 192.168.197.170:2181,192.168.1...原创 2014-04-24 10:51:49 · 151 阅读 · 0 评论 -
kafka单机版安装
1单机 安装 安装过程,参考官网: > tar xzf kafka-<VERSION>.tgz > cd kafka-<VERSION> > ./sbt update > ./sbt package > ./sbt assembly-package-dependency 出现问题 1 在安装 0.8 版本时,出现如下问题...原创 2014-04-23 18:23:06 · 84 阅读 · 0 评论 -
kafka映射外网IP
1、修改本地host 116.231.200.11 node1 2、修改程序kafka配置文件 metadata.broker.list=node1:91metadata.broker.port=91request.required.acks=1zookeeper.list=node1:84 3、修改kafka的server.properties修改host.name=node1、...原创 2014-05-20 19:14:02 · 1897 阅读 · 0 评论