liuyuinsdu的专栏

消费者要从头开始消费某个topic的全量数据，需要满足2个条件（spring-kafka）：（1）使用一个全新的"group.id"（就是之前没有被任何消费者使用过）; （2）指定"auto.offset.reset"参数的值为earliest； 对应的spring-kafka消费者客户端配置参数为：<!-- 指定消费组名 --> <entry key="group.id" value="fg11"/> <!-- 从何处开始消费,late...

1. 作为通配符,类似Java中的*. 如 import scala.math._2. :_*作为一个整体,告诉编译器你希望将某个参数当做参数序列处理val s = sum(1 to 5:_*)就是将 1 to 5 当做参数序列处理3. 指代一个集合中的两个元素eg: 例如我们要在一个Array a中筛选出偶数, 并乘以2,可以用以下这个办法 a.filter(_%2==0).map(2*_) 又如要对缓冲数组ArrayBuffer b排序,可以这样: val

scala和java都是在jvm之上的语言，相对来讲，scala热度比较低，其实并不是一个特别好的语言选择。原因倒不是因为scala本身的缺点，而是使用人群不够多，论坛和社区不够活跃。这就跟社交软件一样，大家都用微信，短信就没人用了。但是scala是写分布式程序的一门非常方便的语言，因为scala几乎每个对象都有map,reduce,filter等方法，这跟spark的用法简直如出一辙。多范式scala是一种多范式的语言，这也没啥特别的，就是既能面向过程又能面向对象，比如C++就是多..

一、 安装kafkacat 是基于kafka C语言的librdkafka库的 kafka客户端，不依赖java，小巧轻便，支持主流系统。在高版本的debain、Ubuntu下可以直接apt-get install kafkacat，maxos下可以用brew install kafkacat也可以自己编译，也是非常简单(需要先安装好curl和cmake)apt-get install cmakegit clonehttps://github.com/edenhill/kafkacatc...

1. 前言我们知道，生产者发送消息到主题，消费者订阅主题（以消费者组的名义订阅），而主题下是分区，消息是存储在分区中的，所以事实上生产者发送消息到分区，消费者则从分区读取消息，那么，这里问题来了，生产者将消息投递到哪个分区？消费者组中的消费者实例之间是怎么分配分区的呢？接下来，就围绕着这两个问题一探究竟。2. 主题的分区数设置在server.properties配置文件中可以指定一个全局的分区数设置，这是对每个主题下的分区数的默认设置，默认是1。当然每个主题也可以自己设置分区数量，...

一、需求介绍有一个Topic：hw_data 有3个分区 3个副本组：hw-data-group将这个主题的消息分发给两个（或者多个）消费者消费，（不能消费相同的消息）1.图解2.关键注解@kafkaListener@Target({ ElementType.TYPE, ElementType.METHOD, ElementType.ANNOTATION_TYPE }) @Retention(RetentionPolicy.RUNTIME) @Messa

最近遇到一个问题，由于kafka接收数据进行处理所花费的时间较长，导致kafka队列中有堆积，然后就想开启很多个consumer但是不怎么会用，报了一些错误，通过一天的学习了解，终于可以让多个consumer共同消费topic中的数据了使用3个producer同时对一个topic写入数据，其中使用2个group组来对数据进行读取，其中topic中的partitions定为2。在每个group下又创建2个consumer进行消费数据。在项目刚开始，我只在topic中设置了一个partitio.

docker中 重启启动所有的容器命令docker restart $(docker ps -a | awk '{ print $1}' | tail -n +2) docker中 启动所有的容器命令docker start $(docker ps -a | awk '{ print $1}' | tail -n +2) docker中 关闭所有的容器命令docker stop $(docker ps -a | awk '{ print $1}' | tail -n +2) d

1 很好的spring cloud结合使用教程https://www.cnblogs.com/ztone/tag/docker%E9%83%A8%E7%BD%B2/2 rancher搭建教程https://www.cnblogs.com/whuanle/p/10228999.html#t64 k8s官方教程https://www.kubernetes.org.cn/k8shttps://kubernetes.io/zh/docs/tutorials/kubernetes-basics