中间件
文章平均质量分 76
常见的中间件部署、使用、处理线上问题
Cloud孙文波
不忘初心,方得始终
展开
-
ElasticSearch 部署及安装ik分词器
公司es集群现以三个角色部署分别为 Gateway、Master、Data 简单的理解可以理解为在每台机器上部署了三个es,以端口和配置文件来区分这三个es不同的功能。我们知道本来安装分词器是件特别简单的事网上的教程也是一大片一大片的,在我们的环境和架构下在es 5.5版本之后就不需要修改es的配置文件进行配置分词器了。还有一定要用es对应版本的分词器,否则启动的时候会有报错。启动用户:elasticsearch su elasticsearch路径:/opt 三个es进程。原创 2023-04-23 16:49:57 · 2501 阅读 · 0 评论 -
etcd 裸机部署【简单易懂】
etcd裸机部署原创 2022-09-29 12:52:31 · 731 阅读 · 2 评论 -
Codis 数据迁移redis cluster
codis集群迁移redis cluster,支持增量同步。原创 2022-08-21 16:22:35 · 360 阅读 · 0 评论 -
Redis cluster 调优
BGSAVE命令执行之后立即返回OK,然后Redisfork出一个新子进程,原来的Redis进程(父进程)继续处理客户端请求,而子进程则负责将数据保存到磁盘,然后退出。RedisSave命令执行一个同步保存操作,将当前Redis实例的所有数据快照(snapshot)以RDB文件的形式保存到硬盘。volatile-ttl删除即将过期的键值,即TTL值最小的键值。volatile-lru根据LRU算法删除设置了过期时间的键值。allkeys-random删除一个随机键值。......原创 2022-03-04 19:58:45 · 983 阅读 · 0 评论 -
Redis cluster 长、短链接压测
长链接压测测试环境:测试客户机32U128G,共十台。服务端:8U32G共8台。RedisCluster集群节点 CPU 内存(G) 10.138.20.141 8 32 10.138.20.142 8 32 10.138.20.143 8 32 10.138.20.144 8 32 10.138.20.145 8 32 10.138.20.146 8 32 10.138.20.1原创 2022-03-04 19:55:56 · 1365 阅读 · 0 评论 -
codis server & redis server 告警指标
指标 说明 告警等级 监控值 描述 redis_alive 实例是否存活 P0 redis-cli -c -p ${port} ping | grep -c PONG 如果指定时间返回PONG表示存活,否则redis不能响应请求,可能阻塞或死亡。当返回值不为1时,redis挂了,告警 connected_clients 客户端连接个数 >9000 P1 >7000 P2 >...原创 2022-03-04 16:13:02 · 593 阅读 · 0 评论 -
Redis cluster 6.2.5 全量配置说明
# Redis 配置文件示例。# # 请注意,为了读取配置文件,Redis 必须# 以文件路径作为第一个参数启动:# # ./redis-server /path/to/redis.conf # 注意单位:何时需要内存大小, 可以指定# 它以通常的形式 1k 5GB 4M 等等:# # 1k => 1000 bytes # 1kb => 1024 bytes # 1m => 1000000 bytes #1mb => 1024*1024 bytes # .原创 2022-03-01 16:47:50 · 477 阅读 · 0 评论 -
Redis Cluster 集群扩容、数据迁移
1、集群扩容 2、添加新节点作为副本 3、删除节点 4、副本迁移 5、redis集群节点版本升级 6、迁移到redis集群 7、手动故障转移 8、集群缩容官方文档:Redis cluster tutorial – Redis1、集群扩容操作流程如下:基于ansible-playbook来操作1、禁用掉ip.txt中init_cluster组,将server组的ip替换成要扩容节点的物理机ip地址2、根据原来集群的配置,修改vars/vars.yal的配置文件;执行an原创 2022-02-28 16:10:26 · 6966 阅读 · 0 评论 -
Codis压力测试(PHP)
一). 总结: 1. 在不影响应用延迟的情况下,短链接(3.3W)和长链接(15.5W) QPS差异在5倍。 2. 在长链接(延迟无明显增加)情况下,应用无报错,且平均延迟降低50%左右 。 3. codis proxy单节点QPS最大承载量如下: 机器型号 QPS 最大系统指标(cpu) 8c32G ~15.5W 75% 32c12G ~22.5W 75% 二). 测试明细: 1. 测试机型:后端...原创 2022-02-27 19:23:50 · 890 阅读 · 0 评论 -
codis 长链接测试
背景:2022-2-10日客户端cpu负载上升, codis proxy 主机的负载也跟随着上升测试工具:memtier_benchmarkredis压测工具1.单proxy测试 (长连接)同网段proxy 配置 (max cpu32、maxclient 100000 、offheap maxmemory 1024mb)https://github.com/RedisLabs/memtier_benchmark/archive/refs/heads/master...原创 2022-02-27 19:20:13 · 405 阅读 · 0 评论 -
redis Cluster集群介绍
0、常见的几种模式对比 一、redis cluster 是什么 二、集群架构图 三、集群原理图 四、集群通信 1)集群发现:MEET 2)gossip协议 五、集群概念 1)多slave选举 2)slot(槽) 3)数据分片 4)请求重定向 5)数据迁移 6)故障转移 7)集群slots是否必须完整才能对外提供服务 六、集群健康检查机制 七、各语言的推荐客户端0、常见的几种模式对比 模式 版本原创 2022-01-18 10:56:35 · 6119 阅读 · 0 评论 -
zookeeper日志按天自动进行切割
1. 进入zookeeper安装目录下修改log4j.properties文件内容如下:cd /opt/zookeeper/zookeeper-3.4.13/conf#修改zookeeper.log.dir=../logs#增加log4j.appender.DAYROLLINGAppender=org.apache.log4j.DailyRollingFileAppenderlog4j.appender.DAYROLLINGAppender.DatePattern='.'yyyy-MM-原创 2021-10-08 15:20:11 · 529 阅读 · 0 评论 -
Codis 3.x扩容缩容
Codis 3.x 版本 Codis 扩容 1.登陆10.126.174.24(ansiable)服务器,移动到该目录下 2. 修改ip.txt,将要扩容的服务器ip写入此文件。此处保留server 、proxy 如下 3. 修改/home/sunwenbo/codis-capacity/ansible-codis/roles/vars/vars.yml 文件 4. 执行扩容命令,ansiable无返回报错,则认为部署成功 5. 登陆codis-fe管理页面进行扩容配置 ...原创 2021-08-27 16:27:57 · 627 阅读 · 0 评论 -
k8s 部署 Eureka及使用
配置参数参考:https://www.cnblogs.com/fangfuhai/p/7070325.html https://www.cnblogs.com/liukaifeng/p/10052594.html一、制作docker镜像文件所在测试k8s集群 master1/home/sunwenbo/test/docker/eureka目录树eureka/├── application.yaml├── Dockerf...原创 2021-07-18 18:06:10 · 3580 阅读 · 6 评论 -
Spring Eureka 工作原理
Eureka 版本1.19.1相关配置参数详解:https://www.cnblogs.com/liukaifeng/p/10052594.htmlSpring官网 Eureka源码:https://spring.io/guides/gs/service-registration-and-discovery/github代码:https://github.com/DickChesterwood/docker-only-fleetmanEureka 核心概念Eureka 作为 Spr.原创 2021-07-18 17:57:18 · 941 阅读 · 0 评论