- 博客(18)
- 资源 (1)
- 收藏
- 关注
RSS订阅
原创 一款比ELK更强大，更好用的日志收集分析告警系统
部署丝滑，管理方便，有web后台管理。比起传统的elk更加灵活，而且还集成了日志分析和告警。除了按配置好的目录收集日志还提供了api接口实时调用。可以给所有程序使用，具备通用性。性能强大，分布式。
2024-08-16 15:33:45
2940
原创 日志收集分析和告警在故障排查中的重要性
通过实施上述建议，开发团队不仅可以有效应对突发事件，还能不断提升自身的应急处理能力，从而确保服务的稳定性和可靠性。：通过实时收集和分析日志，开发团队可以及时发现系统中的异常行为，有助于在故障发生初期就进行干预。：通过对日志的分析，可以发现系统的瓶颈所在，进而进行优化以提高系统的稳定性和性能。：随着业务的发展和技术的进步，持续优化日志收集和告警机制，确保其能够适应新的挑战。：对于一些常见的问题，告警系统可以触发自动化的修复流程，减轻开发人员的工作负担。等成熟的日志管理系统，可以更高效地收集、存储和分析日志。
2024-08-21 11:26:47
675
原创 解决 Could not connect to deb.debian.org:80 (151.101.110.132), connection timed out
当你遇到错误 “Could not connect to deb.debian.org:80 (151.101.110.132), connection timed out” 时，这通常意味着你的系统无法连接到 Debian 的软件仓库。这可能是由于网络问题、DNS 解析问题或服务器暂时不可用等原因造成的。
2024-08-20 15:36:50
364
原创 关于mysql8.0 用户授予权限时遇到错误解决办法
当你在尝试为 MySQL 用户授予权限时遇到错误 `ERROR 1064 (42000): You have an error in your SQL syntax; check the manual that corresponds to your MySQL server version for the right syntax to use near 'IDENTIFIED BY 'max2024' WITH GRANT OPTION' at line 1`，这通常是因为 SQL 语法错误。
2024-08-19 18:23:04
274
原创 Etcd：分布式键值存储的基石
Etcd 是一个强大而灵活的分布式键值存储系统，通过在实战中可以快速掌握其精髓。etcd实战一款比ELK更强大，更好用的日志收集分析告警系统。
2024-08-18 10:44:35
361
原创 无法编辑 /etc/cron.d/root 的解决办法
当你在 Linux 系统中使用 lsattr 命令查看文件属性时，如果文件显示为 -----a-------e-- root，这意味着该文件具有特殊属性 a 和 e。当你被病毒入侵发现被修改了 /etc/cron.d/root 这个文件，定时任务一直在执行，无论怎么样都删除不了，可以使用 lsattr 命令查看文件属性。
2024-08-18 10:29:22
372
原创 Go RPC 和 gRPC 技术详解
RPC 是一种协议，它允许客户端程序调用远程服务器上的函数或方法，而无需了解底层网络细节。通常，客户端和服务器通过网络通信，并且需要一种方式来序列化和反序列化数据。
2024-08-17 11:14:48
566
原创 Go Channel 详解
在 Go 语言中，channel是一种用于在 goroutine 之间传递数据的机制。它提供了同步和通信的能力，使得并发编程变得更加简单和安全。Channel 在 Go 语言中的设计是类型安全的，并且支持发送和接收两种操作。通道是 Go 语言中实现 goroutine 间通信的基础工具。它们提供了简单的同步机制，让并发编程变得直观且容易管理。通过合理的设计和使用，通道可以极大地简化程序的复杂度，并提高程序的性能和可靠性。
2024-08-17 11:06:43
385
原创 TCC型分布式事务处理
在此之后，拥堵在网络上的一阶段 Try 数据包被 TCC 服务收到，出现二阶段 Cancel 请求比一阶段 Try 请求先执行的情况，此 TCC 服务在执行晚到的 Try 之后，将永远不会再收到二阶段的 Confirm 或者 Cancel，造成 TCC 服务悬挂。但是在接入 TCC 之后，需要考虑如何将其分成两个阶段完成：把资源的检查和预留放在一阶段的 Try 操作中进行，把真正的业务操作的执行放在二阶段的 Confirm 操作中进行。业务活动管理器控制业务活动的一致性，它登记业务活动中的操作， 并在。
2024-07-24 12:03:36
2289
原创 深入理解 Kafka
Kafka的复制机制既不是完全的同步复制，也不是单纯的异步复制。完全同步复制要求All Alive Follower都复制完，这条消息才会被认为commit，这种复制方式极大的影响了吞吐率。而异步复制方式下，Follower异步的从Leader复制数据，数据只要被Leader写入log就被认为已经commit，这种情况下，如果leader挂掉，会丢失数据，kafka使用ISR的方式很好的均衡了确保数据不丢失以及吞吐率。Follower可以批量的从Leader复制数据，而且Leader充分利用磁盘顺序读以
2024-07-23 18:42:54
635
原创 Nginx 结合 consul 实现动态负载均衡
nginx-upsync-module 提供了动态的负载均衡，动态更新上游的服务器不需要 reload nginx ，它的功能是拉取 consul 的后端 server 的列表，并更新Nginx 的路由信息。此模块不依赖于任何第三方模块。 consul 作为 Nginx 的 db，利用 consul 的 KV 服务，每个 Nginx work 进程独立的去拉取各个upstream 的配置，并更新各自的路由。挂了第三方模块无法结束进程或者是当前进程尚未结束
2024-07-20 11:59:24
1213
原创 nginx负载均衡
当我们的应用单例不能支撑用户请求时，此时就需要扩容，从一台服务器扩容到两台、几十台、几百台，我们需要一个入口，将客户端请求均衡分布在后台的多个服务器上。负载均衡在服务端开发中算是一个比较重要的特性， nginx 提供的负载均衡可以实现上游服务器的负载均衡、故障转移、失败重试、容错、健康检查，当某些上游服务器出现问题时，可以将请求转到其它的上游服务器从而保障高可用。
2024-07-20 11:26:37
640
原创 Elasticsearch 最全调优，最佳实践（二）
基于 word2vec 和 Elasticsearch 实现个性化搜索基于 word2vec、Elasticsearch 和自定义的脚本插件，我们就实现了一个个性化的搜索服务，相对于原有的实现，新版的点击率和转化率都有大幅的提升；基于 word2vec 的商品向量还有一个可用之处，就是可以用来实现相似商品的推荐；使用 word2vec 来实现个性化搜索或个性化推荐是有一定局限性的，因为它只能处理用户点击历史这样的时序数据，而无法全面的去考虑用户偏好，这个还是有很大的改进和提升的空间
2024-07-19 11:20:25
1149
原创 Elasticsearch 最全调优，最佳实践（一）
、设计阶段调优根据业务增量需求，采取基于日期模板创建索引，通过roll over API 滚动索引；使用别名进行索引管理；每天凌晨定时对索引做force_merge 操作，以释放空间；采取冷热分离机制，热数据存储到SSD，提高检索效率；冷数据定期进行 shrink 操作，以缩减存储；采取curator 进行索引的生命周期管理；仅针对需要分词的字段，合理的设置分词器；Mapping 阶段充分结合各个字段的属性，是否需要检索、是否需要存储等。
2024-07-19 11:01:59
715
2原创 PB级强大日志收集智能分析系统-LCA
强大的日志收集分析系统，可实时收集常用的软件的日志，比如nginx，当每次添加一个需要收集的日志文件时可以实时进行收集，还可以实时收集指定目录下所有按时间切分的日志，可以通过api调用主动推送日志到日志分析系统，4. 可以对收集的日志进行分析，智能分析，然后按规则告警（nginx状态不是200，php文件报错），5. 实现如阿里sls一般查询日志
2024-07-17 11:00:50
2247
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人