大数据--Kafka
文章平均质量分 83
lijieshare
这个作者很懒,什么都没留下…
展开
-
java代码之kakfa生产者
Kafka原理图JAVA源代码之kafka生产者,本次客户端使用kafka的console命令行,消费,生产者使用代码编码。看了好多生产者代码都带有props.put("zk.connect", "n2:2181/jafka"); 真是感到不解,没有这个参数也可以运行的好好的,实践出真知,弄懂原理真的很重要,具体如下:import java.util.Properties;impor...2016-04-27 22:43:03 · 121 阅读 · 0 评论 -
【Kafka之kafka-manager监控使用示例】
[root@node1 opt]# lscollectd flume1.6 influxdb nagios-plugins-1.4.13 Python-2.6.6.tgz yum-3.2.26.tar.gz elasticsearch-2.0.0-rc1 gnu ...2017-07-07 22:15:28 · 599 阅读 · 0 评论 -
【METAQ介绍】
Metamorphosis是淘宝开源的一个Java消息中间件,他类似apache-kafka,但不是一个简单的山寨拷贝,而是做了很多改进和优化,项目的主页在淘蝌蚪上。 METAQ是一款完全的队列模型消息中间件,服务器使用Java语言编写,可在多种软硬件平台上部署。客户端支持Java、C++编程语言 MetaQ对外提供的是一个队列服务,内部实现也是完全的队列模型,这里的队列是持久...2017-08-01 19:57:06 · 241 阅读 · 0 评论 -
【HornetQ 介绍】
HornetQ is an open source project to build a multi-protocol, embeddable, very high performance, clustered, asynchronous messaging system.HornetQ is an example of Message Oriented Middleware (MoM) ...2017-08-01 20:11:46 · 170 阅读 · 0 评论 -
【Jafka 介绍】
Jafka 是一个开源的、高性能的、跨语言分布式消息系统,使用GitHub托管。Jafka最早是由Apache孵化的Kafka(由LinkedIn捐助给Apache)克隆而来。 Jafka mq is a distributed publish-subscribe messaging system cloned from Apache Kafka.So it has the...2017-08-02 23:10:02 · 126 阅读 · 0 评论 -
【Kafka原理解析】
Kafka的特性高吞吐量、低延迟:kafka每秒可以处理几十万条消息,它的延迟最低只有几毫秒可扩展性:kafka集群支持热扩展持久性、可靠性:消息被持久化到本地磁盘,并且支持数据备份防止数据丢失容错性:允许集群中节点失败(若副本数量为n,则允许n-1个节点失败)高并发:支持数千个客户端同时读写 Kafka一些重要设计思想下面介绍先大体介绍一下Kafka的主要设计思...2017-09-11 22:39:19 · 108 阅读 · 0 评论 -
【Kafka源码解读】
一、BrokerStates.scala定义了目前一个kafka broker的7中状态 —— 1. NotRunning:未运行2. Starting:启动中3. RecoveringFromUncleanShutdown:从上次异常恢复中4. RunningAsBroker:已启动5. RunningAsController:作为Controller运行6. Pe...2017-09-27 23:14:19 · 233 阅读 · 0 评论 -
【Kafka 细节介绍】
Kafka的Producer、Broker和Consumer之间采用的是一套自行设计的基于TCP层的协议。Kafka的这套协议完全是为了Kafka自身的业务需求而定制的,而非要实现一套类似于Protocol Buffer的通用协议。 基本数据类型定长数据类型:int8,int16,int32和int64,对应到Java中就是byte, short, int和long。变长数据类型...2017-09-28 22:48:44 · 88 阅读 · 0 评论 -
【KSQL引擎 介绍】
Kafka的作者Neha Narkhede在Confluent上发表了一篇博文,介绍了Kafka新引入的KSQL引擎——一个基于流的SQL。推出KSQL是为了降低流式处理的门槛,为处理Kafka数据提供简单而完整的可交互式SQL接口。KSQL目前可以支持多种流式操作,包括聚合(aggregate)、连接(join)、时间窗口(window)、会话(session),等等。 与传统SQL的...2017-10-14 15:53:56 · 283 阅读 · 0 评论 -
【Apache 之DistributedLog介绍】
Apache DistributedLog (DL) is a high-throughput, low-latency replicated log service, offering durability, replication and strong consistency as essentials for building reliable real-time applications...2018-05-05 22:57:06 · 299 阅读 · 0 评论 -
【消息中间件Kestrel】
Kestrel是twitter的开发团队用scala语言写的开源消息中间件。Kestrel is a simple, distributed message queue written on the JVM, based on Blaine Cook's "starling". Each server handles a set of reliable, ordered message...2018-05-05 23:07:28 · 253 阅读 · 0 评论 -
【Kafka2.0.0新特性】
Kafka 2.0.0 includes a number of significant new features. Here is a summary of some notable changes:KIP-290 adds support for prefixed ACLs, simplifying access control management in large secure d...2018-08-26 22:04:34 · 302 阅读 · 0 评论 -
【Kafka监控之Kafka Web Console】
Kafka Web Console是kafka的开源web监控程序.功能介绍如下:brokers列表连接kafka的zk集群列表所有topic列表,操作相应topic可以浏览查看相应message生产和消费流量图.[root@node1 opt]# lscollectd es5.0 hadoop_data mq path ...2017-06-23 21:47:53 · 867 阅读 · 0 评论 -
kafka单机版环境搭建
1、启动安装zookeeper[root@node1 bin]# ./zkServer.sh JMX enabled by defaultUsing config: /opt/bigdata/zookeeper/bin/../conf/zoo.cfgUsage: ./zkServer.sh {start|start-foreground|stop|restart|status|u...2016-04-01 20:20:43 · 136 阅读 · 0 评论 -
【大数据kafka之low-level consumer】
一、什么时候用这个接口? 1)Read a message multiple times 2)Consume only a subset of the partitions in a topic in a process 3)Manage transactions to make sure a message is processed once and ...2016-06-02 21:28:10 · 161 阅读 · 0 评论 -
【大数据Kafka之 high-level--Consumer 】
一、特点:不用关心offset, 会自动的读zookeeper中该Consumer group的last offset 二、注意事项1. 如果consumer比partition多,是浪费,因为kafka的设计是在一个partition上是不允许并发的, 所以consumer数不要大于partition数 2. 如果consumer比partition少,一个cons...2016-06-02 21:45:55 · 159 阅读 · 0 评论 -
【KafkaOffsetMonitor安装部署】
KafkaOffsetMonitor功能:1.从标题都可以看出来,Kafka Offset Monitor,是对consumer消费情况进行监控,并能列出每 个consumer offset,滞后数据。2.消费者组列表3.每个topic的所有parition列表(topic,pid,offset,logSize,lag,owner)4.查看topic的历史消...2016-06-07 22:24:22 · 115 阅读 · 0 评论 -
【kakfa配置参数-Producer详解】
serializer.class默认值: kafka.serializer.DefaultEncoder必须实现kafka.serializer.Encoder接口,将T类型的对象encode成kafka message key.serializer.class默认值:serializer.classkey对象的serializer类 parti...2016-06-11 19:49:15 · 155 阅读 · 0 评论 -
【Kafka配置参数--Consumer详解】
#############################Consumer ############################## Consumer端核心的配置是group.id、zookeeper.connect# 决定该Consumer归属的唯一组ID,By setting the same group id multiple processes indicate that ...2016-06-13 23:00:44 · 370 阅读 · 0 评论 -
【kafka参数配置--broker】
############################# System ##############################唯一标识在集群中的ID,要求是正数。broker.id=0#服务端口,默认9092port=9092#监听地址,不设为所有地址host.name=debugo01 # 处理网络请求的最大线程数num.network.threa...2016-06-13 23:04:07 · 204 阅读 · 0 评论 -
【zookeeper在kafka中的作用】
一、zookeeper在kafka中的作用1)Broker注册Broker在zookeeper中保存为一个临时节点,节点的路径是/brokers/ids/[brokerid],每个节点会保存对应broker的IP以及端口等信息. 2)Topic注册在kafka中,一个topic会被分成多个区并被分到多个broker上,分区的信息以及broker的分布情况都保存在zookee...2016-07-30 21:16:30 · 211 阅读 · 0 评论 -
【erlang语言之RabbitMQ】
What is RabbitMQ?RabbitMQ是一个由erlang开发的AMQP(Advanced Message Queue )的开源实现Robust messaging for applicationsEasy to useRuns on all major operating systemsSupports a huge number of developer pl...2016-10-12 21:33:15 · 299 阅读 · 0 评论 -
【Kafka 源码编译导入Eclipse】
1、下载kafka源码 2、下载编译环境 3、编译过程 编译完毕界面 4、导入Eclipse验证此问题原因是因为没有启动zookeeper,导致链接zk超时 运行kafka主方法即入口方法 ...2016-11-23 20:18:37 · 420 阅读 · 0 评论 -
kafka源码本地测试
1、安装zookeepr环境 验证:确保环境OK 2、启动kafka环境设置编译环境 启动kafka服务 3、启动生产者 kafka服务确实运行在本机 4、启动消费者 ...2016-11-24 23:33:39 · 113 阅读 · 0 评论 -
【kafka源码改写(一)】
1、启动类改写package kafka; import java.util.Properties; import kafka.metrics.KafkaMetricsReporter1;import kafka.server.KafkaConfig;import kafka.server.KafkaServerStartable;import kafka.ut...2016-11-25 22:21:30 · 138 阅读 · 0 评论 -
【Jafka 介绍】
Jafka mq is a distributed publish-subscribe messaging system cloned from Apache Kafka. Jafka 是一个高性能的跨语言分布式消息系统。Jafka已经开源,使用github托管。Jafka是由Apache孵化的Kafka(由LinkedIn捐助给Apache)克隆而来。Jafka 1.0完整遵循Ka...2017-03-15 21:00:13 · 148 阅读 · 0 评论