一个真实、有温度的无名小卒

文章目录一.consumer group的特性二.特性导致的好处三.每个group如何管理它的offset四.Rebalance一.consumer group的特性consumer group下可能有一个或多个consumer实例group ID是一个字符串，在一个kafka集群中，它标识唯一的consumer group一个consumer group下面的实例只能消费一个主题的分区，当然这个分区也能被其它consumer group消费二.特性导致的好处由上面三个特性，我们能想到kaf

一. es查询速度与内存的关系当我们向es里面写数据的时候，实际上都会写到磁盘文件里面去，查询的时候，os会将磁盘文件里的数据自动缓存到file system cache中去。所以es的性能非常依赖机器的内存，当机器内存比较小的时候查询速度就会受到限制，如果我们给filesystem cache更多的内存，尽量让内存可以容纳所有的idx segment file索引数据文件，那么搜索的时候就基本是在走内存的，少了从磁盘随机io到内存中，查询速度立马变成ms级别。二. 没有银弹的优化手段所以从上面es查

前言毫无疑问首先需要了解kafka各组件的概念，然后我个人觉得在日常的开发中其实去熟悉kafka的集群配置是非常重要且优先级很高的一环，因为原理性的东西很多，想去学习源码更不是一天两天就能做完的事，但是生产环境的kafka集群配置不当可能会引发未知且棘手的问题，最后一查问题根源就出在开始最简单的配置上。Broker端配置log.dirslog.dirs这个参数没有默认值，必须要去指定！！！它指定了Broker需要使用的若干个文件路径，它的格式比如：/home/kafka1,/home/kafka2

前言微服务架构是一个分布式架构，实际开发中，我们按照业务要求划分服务单元，一套系统往往由多个业务单元构成。在这个场景中，一个请求肯能要经历多个业务单元的处理才能完成响应，如果出现了异常或者错误，很难定位。在往常的查询中我们往往会采取查询日志的办法定位问题，这种方法是个办法，但不是个好办法，我们需要一件工具来解放自己，在这种背景下就可以引入我们的链路追踪工具。安装jaeger通过docker安装jaeger环境：sudo docker run -d -e COLLECTOR_ZIPKIN_HTTP_PO

前言我们的服务上线了，除了从日志可以查看一些运行情况外，其实现在服务接口对于我们来说是一个黑盒，我们不知道每个服务接口的延时，被调用次数等等指标的运行情况，我们更需要历史的指标数据知道我们的系统瓶颈在哪，然后对应去做相关的优化，如果想实时知道这些指标，就需要我们的api监控。本文代码地址地址(github地址)[https://github.com/lightTrace/cells/tree/master/cell-monitor]metric插件这里在/cell/register/middlewa

前言为什么需要服务注册与发现？在微服务架构下，原单体服务被拆分为多个服务独立部署，维护数量过多的服务地址，运维人员无法高效工作。所以，在微服务架构中引入了服务注册中心，用于接受和维护各个服务地址的地址信息。客户端或者网关可以通过注册中心查询目标服务地址，动态实现服务访问，并且在此基础上实现服务负载均衡。本文代码地址：gtihub地址1. 启动consul镜像本文基于consul进行服务注册，先基于docker启动一个consul，在docker目录下新建docker-compose-consul.

前言限流这层按说是应该在网关那做的，这里为了学习go kit暂时放在这里在middleware/rate.go使用gokit的endpointMiddleWare定义一个限流中间件，在main函数里面将要限流的接口用这个函数装饰一下，这个接口就能实现限流相关功能，本项目地址github地址1.限流原理常见的限流方法有令牌桶和漏桶令牌桶令牌桶算法的原理是系统会以一个恒定的速度往桶里放入令牌，而如果请求需要被处理，则需要先从桶里获取一个令牌，当桶里没有令牌可取时，则拒绝服务。漏桶漏桶算法思路很