- 博客(18)
- 收藏
- 关注
RSS订阅原创 从telegraf改造谈golang多协程精确控制
telegraf是infuxdb公司开源出来的一个基于插件机制的收集metrics的项目。整个架构和elastic公司的日志收集系统极其类似，具备良好的扩展性。大致具备良好的可扩展性。很容易增加自己的处理逻辑，在input，output，process，filter等环境定制自己专属的插件。统一了各种exporter，减少了部署各种exporter的工作量和维护成本。
2024-07-25 17:37:16
620
原创 用Prometheus监控K8S
https://www.zhihu.com/question/491819161/answer/3562142071
2024-07-24 18:00:01
224
原创 filebeat 从 ConfigMap 读取配置
metadata:data:paths:---metadata:labels:spec:selector:template:metadata:labels:spec:args: ["-e",env:volumes:configMap:hostPath:hostPath:hostPath:
2024-07-24 17:19:03
249
原创 filebeat多个日志输出多条索引案例
index: web-nginx-%{[fields.type]}-%{+yyyy.MM.dd} # 设置索引名称，后面引用的 fields.type 变量。此处的配置应该可以省略（不符合下面创建索引条件的日志，会使用该索引，后续会测试是否是这样）- index: web-nginx-access-log-%{+yyyy.MM.dd} # 设置 access.log 日志的索引，注意索引前面的 web-nginx 要与setup.template.pattern 的配置相匹配。
2024-07-24 17:15:33
226
原创 日志收集之filebeat使用介绍 -K8s篇
版本：filebeat-7.12.0是关于k8s的日志采集，部署方式是采用的方式，采集时按照k8s集群的进行分类，然后根据的名称创建不同的到kafka中一般情况下，容器中的日志在输出到标准输出(stdout)时，会以的命名方式保存在目录中，当然如果修改了的数据目录，那就是在修改后的数据目录中了，例如：这里能看到，有这么个文件： ，然后k8s默认会在和目录中会生成这些日志文件的软连接，如下所示：然后，会看到这个目录下存在了此宿主机上的所有容器日志，文件的命名方式为：上面这个是的命名方式，其他
2024-07-24 16:54:22
690
转载 分布式系统的面试题3
1、面试题 说一下的dubbo的工作原理？注册中心挂了可以继续通信吗？说说一次rpc请求的流程？ 2、面试官心里分析 MQ、ES、Redis、Dubbo，上来先问你一些思考的问题，原理（kafka高可用架构原理、es分布式架构原理、redis线程模型原理、Dubbo工作原理），生产环境里可能会碰到的一些问题（每种技术引入之后生产环境都可能会碰到一些问题），系统设...
2018-12-09 19:46:19
414
转载 分布式系统的面试题2
1、面试题 为什么要进行系统拆分？如何进行系统拆分？拆分后不用dubbo可以吗？ 2、面试官心里分析 从这个问题开始就进行分布式系统环节了，好多同学给我反馈说，现在出去分布式成标配了，没有哪个公司不问问你分布式的事儿。你要是不会分布式的东西，简直这简历没法看，没人会让你去面试。 其实为啥会这样呢？这就是因为整个大行业技术发展的原因 早些年，我印象...
2018-12-09 19:44:46
1088
转载 分布式系统的面试题1
我之前有一些同学，之前呢主要是做传统行业，外包项目，互联网公司，一直是那种小的公司，技术一直都搞的比较简单。共同的一个问题，就是都没怎么搞过分布式系统，现在互联网公司，一般都是做分布式的系统，大家都不是做底层的分布式系统，分布式存储系统，hadoop hdfs，分布式计算系统，hadoop mapreduce，spark，分布式流式计算系统，storm。 分布式业务系统，把原来...
2018-12-09 19:42:19
3805
转载 分布式缓存的面试题10
1、面试题 redis的并发竞争问题是什么？如何解决这个问题？了解Redis事务的CAS方案吗？ 2、面试官心里分析 这个也是线上非常常见的一个问题，就是多客户端同时并发写一个key，可能本来应该先到的数据后到了，导致数据版本错了。或者是多客户端同时获取一个key，修改值之后再写回去，只要顺序错了，数据就错了。 而且redis自己就有天然解决这个问题的C...
2018-12-09 19:38:46
1149
转载 分布式缓存的面试题9
1、面试题 如何保证缓存与数据库的双写一致性？ 2、面试官心里分析 你只要用缓存，就可能会涉及到缓存与数据库双存储双写，你只要是双写，就一定会有数据一致性的问题，那么你如何解决一致性问题？ 3、面试题剖析 一般来说，就是如果你的系统不是严格要求缓存+数据库必须一致性的话，缓存可以稍微的跟数据库偶尔有不一致的情况，最好不要做这个方案，读请求和写请求串行化，串到...
2018-12-09 19:36:38
2072
转载 分布式缓存的面试题8
1、面试题 了解什么是redis的雪崩和穿透？redis崩溃之后会怎么样？系统该如何应对这种情况？如何处理redis的穿透？ 2、面试官心里分析 其实这是问到缓存必问的，因为缓存雪崩和穿透，那是缓存最大的两个问题，要么不出现，一旦出现就是致命性的问题。所以面试官一定会问你。 3、面试题剖析 缓存雪崩发生的现象 缓存雪崩的事前事中事后的解决方案...
2018-12-09 19:35:16
219
转载 分布式缓存的面试题6
1、面试题 redis的持久化有哪几种方式？不同的持久化机制都有什么优缺点？持久化机制具体底层是如何实现的？ 2、面试官心里分析 redis如果仅仅只是将数据缓存在内存里面，如果redis宕机了，再重启，内存里的数据就全部都弄丢了啊。。。。。。你必须得用redis的持久化机制，将数据写入内存的同时，异步的慢慢的将数据写入磁盘文件里，进行持久化 如果redis宕机了，...
2018-12-09 19:33:36
195
原创 分布式缓存的面试题4
1、面试题 redis的过期策略都有哪些？内存淘汰机制都有哪些？手写一下LRU代码实现？ 2、面试官心里分析 1）老师啊，我往redis里写的数据怎么没了？ 之前有同学问过我，说我们生产环境的redis怎么经常会丢掉一些数据？写进去了，过一会儿可能就没了。我的天，同学，你问这个问题就说明redis你就没用对啊。redis是缓存，你给当存储了是吧？ 啥叫缓存？...
2018-12-09 19:32:17
629
转载 分布式缓存的面试题5
1、面试题 如何保证Redis的高并发和高可用？redis的主从复制原理能介绍一下么？redis的哨兵原理能介绍一下么？ 2、面试官心里分析 其实问这个问题，主要是考考你，redis单机能承载多高并发？如果单机扛不住如何扩容抗更多的并发？redis会不会挂？既然redis会挂那怎么保证redis是高可用的？ 其实针对的都是项目中你肯定要考虑的一些问题，如果你没考虑过...
2018-12-09 19:30:55
313
转载 分布式缓存的面试题7
分布式缓存的面试题7 1、面试题 redis集群模式的工作原理能说一下么？在集群模式下，redis的key是如何寻址的？分布式寻址都有哪些算法？了解一致性hash算法吗？ 2、面试官心里分析 在以前，如果前几年的时候，一般来说，redis如果要搞几个节点，每个节点存储一部分的数据，得借助一些中间件来实现，比如说有codis，或者twemproxy，都有。有一些red...
2018-12-09 19:29:13
439
转载 mysql之 double write 浅析
介绍double write之前我们有必要了解partial page write 问题 : InnoDB 的Page Size一般是16KB，其数据校验也是针对这16KB来计算的，将数据写入到磁盘是以Page为单位进行操作的。而计算机硬件和操作系统，在极端情况下（比如断电）往往并不能保证这一操作的原子性，16K的数据，写入4K 时，发生了系统断电/os crash ，只有一部分写是成功的...
2018-05-10 08:35:24
682
1
转载 页断裂(partial write)与doublewrite技术
mysql double write (二次写)是mysql innodb存储引擎的一个重要特性，本人这两天翻阅了相关的资料，结合自己已有的知识，说说自己对double write的理解，供各位看官参考。页断裂(partial write)double write技术innodb为解决页断裂(partial write)问题而生，所谓页断裂是数据库宕机时(OS重启，或主机掉电重启)，数据库页面只...
2018-05-10 08:27:10
217
转载 MYSQL复制原理及其流程
1）在Slave 服务器上执行sart slave命令开启主从复制开关，开始进行主从复制。2）此时，Slave服务器的IO线程会通过在master上已经授权的复制用户权限请求连接master服务器，并请求从执行binlog日志文件的指定位置（日志文件名和位置就是在配置主从复制服务时执行change master命令指定的）之后开始发送binlog日志内容3）Master服务器接收到来自Slave服...
2018-05-10 08:07:01
199
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人