kafka
抛砖者
本人酷爱技术,欢迎来探讨技术问题,不管是你不会的,还是我不会的,都要弄明白,不单单是我,你也得明白,哈哈哈哈
展开
-
kafka生产者的(1)消息去向何方
一、消息的发送消息发送是策略:所谓分区策略是决定生产者将消息发送到哪个分区的算法。Kafka 为我们提供了默认的分区策略,同时它也支持你自定义分区策略。如果要自定义分区策略,你需要显式地配置生产者端的参数partitioner.class。这个参数该怎么设定呢?方法很简单,在编写生产者程序时,你可以编写一个具体的类实现org.apache.kafka.clients.producer.Par...原创 2019-11-15 12:01:24 · 219 阅读 · 0 评论 -
kafka消息发送的时候实现一次性语义机制,幂等操作和事务操作
kafka实现消息只被精准处理(发送)一次kafka中实现这个功能的机制主要有两种,一种是幂等操作,另一种是事务操作,幂等操作所谓的幂等操作是指一个操作无论你重复的操作多少遍,最终得到的结果都是一样的,就比如乘法中的乘1操作,无论你乘多少次1结果都是它本身,类似这种操作就叫做幂等操作。在计算机中所谓的幂等操作,就是如果一个子程序是幂等的,那它必然不能修改系统的状态,这样不管运行这个子程序多...原创 2019-11-18 10:09:54 · 754 阅读 · 0 评论 -
kafka的操作命令,后台启动命令
1. 启动kafka./kafka-server-start.sh ../config/server.properties 前台启动nohup bin/kafka-server-start.sh config/server.properties > /dev/null 2>&1 & 后台启动命令2. 创建topic,模拟生产者,消费者创建topicc...原创 2019-10-17 11:31:53 · 786 阅读 · 0 评论 -
kafka系列之kafka各个版本的区别
kafka的版本比较多大致有0.7、0.8、0.9、0.10、0.11、1.0 和 2.0,其中的小版本和 Patch 版本很多下面分别岁这些版本的特性跟大家讲解下0.7,0.8版本这是最早开源时的“上古”版本了,以至于我也从来都没有接触过。这个版本只提供了最基础的消息队列功能,甚至连副本机制都没有,我实在想不出有什么理由你要使用这个版本,因此一旦有人向你推荐这个版本,果断走开就好了。Kaf...原创 2019-11-15 14:56:33 · 7951 阅读 · 0 评论 -
集群自动化启动脚本(kafka,zookeeper,es)
一、环境所有的自动化启动脚本都要基于一个条件,那就是集群的机器直接要能ping的同,免密登入(如果不能免密登入应该也行,具体没有试过),其他的环境都是大数据那一套没什么特别的(Hadoop,spark,flink,es等)二、主要思想就是通过ssh这个命令登入到集群中其他的机器中,然后执行对应的命令,但是这个里要注意了,在执行命令的时候最好带上如下代码source /etc/profile...原创 2019-10-27 11:04:25 · 532 阅读 · 0 评论 -
kafka重要参数配置
Broker端的参数1.log.dirs:这个参数可以跟几个文件目录,如:/home/kafka1,/home/kafka2,/home/kafka3如果有条件这几个目录最好是不同磁盘的目录2.zookeeper.connect:这里说下如果多个kafka集群都用这个zookeeper的指定方式。如:zk1:2181,zk2:2181,zk3:2181/kafa1,zk1:2181,zk...原创 2019-10-18 13:33:36 · 545 阅读 · 0 评论 -
Kafka线上集群部署方案怎么做?
可以从部署的操作系统,磁盘,带宽这三个方面入手探讨,就操作系统来说由于kafka底层IO的实现是基于Java的selector,selector在Linux上实现的机制是epoll(异步),在Windows上实现的是(select),因此它在Linux上能实现更高效的IO性能,而且Linux可以实现零拷贝机制。磁盘磁盘来说的话可以使用机械硬盘就可以了磁盘的规划我们来计算一下:每天 1 ...原创 2019-10-16 10:19:44 · 203 阅读 · 0 评论