![](https://img-blog.csdnimg.cn/20201014180756922.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
架构进阶
文章平均质量分 93
敲代码的旺财
这个作者很懒,什么都没留下…
展开
-
k8s部署redis一主两从三哨兵
k8s部署redis一主两从三哨兵,1. 一共6个容器,1个主节点、2个从节点、3个哨兵节点。2. 编写namespace脚本,创建专门的namespace3. 编写configmap脚本,分别将主节点、从节点、哨兵的配置写在里面4. 编写secret脚本,将redis的密码保存在里面5. 编写storageClass脚本,用于自动创建磁盘资源6. 编写service脚本,1个提供redis之间的网络,1个提供哨兵之间的网络,1个对外提供服务7. 编写statefulSet脚本,1个提供redi原创 2022-12-17 13:51:41 · 2689 阅读 · 3 评论 -
k8s部署mysql一主两从
一、k8s部署mysql主从需要解决上面问题 1. 启动顺序有要求,master节点必须比slave节点先启动2. 节点挂掉了,新的pod启动必须使用原先pod的资源3. master与slave的配置不一样4. master启动之后需要设置主从授权账户,slave需要执行change master命令,以及加入主从的命令5. 希望客户账户名密码自己配置6. slave需要知道master节点的地址原创 2022-11-27 14:54:41 · 2616 阅读 · 3 评论 -
基于filebeat+kafka+ELK的大数据日志收集系统
目录日志收集系统简介常用的日志收集系统对比日志收集系统架构架构设计考虑可用性filebeat死掉kafka死掉logstash死掉es和hdfs正常关闭es和hdfs异常停机或不可访问logstash变慢hdfs变慢可靠性可扩展性filebeat层kafka层logstash、es、hdfs层系统监控发送速度,拥堵情况,写入速度日志大小监控异常日志监控日志收集系统简介日志收集是大数据的基石。许多公司的业务平台每天都会产生大量的日志数据。收集业务日志数据,供离线和在线的分析系统使用,正是日志收集系统的要原创 2021-06-04 16:33:02 · 1174 阅读 · 3 评论 -
k8s二进制无坑安装——基础篇
文章目录一、准备虚拟机1、修改所有机器的主机名2、修改所有机器的ip地址和DNS(虚拟机)3、所有机器关闭selinux4、所有机器关闭防火墙5、所有机器安装环境工具二、准备虚拟机网络环境1、其中一台机器上安装bind91)安装bind92)修改bind9主配置文件3)修改bind9区域配置文件4)启动bind95)检测域名解析是否成功2、修改所有机器上的DNS指向(包括安装了bind9的机器)三、准备签发证书环境1、下载软件2、颁发自签证书1)创建certs文件夹2)创建CA证书签名请求(csr)的jso原创 2020-07-16 15:33:23 · 3525 阅读 · 0 评论 -
服务链路追踪-Sleuth :解决分布式部署下最头疼的溯源问题
文章目录一、服务调用链追踪二、核心功能和体系架构1、核心功能2、设计理念3、数据埋点4、Sleuth与Log系统集成原理1)Log Format Pattern2)MDC5、Sleuth数据结构1)Annotation标记2)服务节点间的ID传递三、整合Sleuth追踪调用链路1、创建Sleuth项目1)创建一个模块命名为sleuth-traceA,修改pom文件2)修改启动文件3)创建配置文件4)在resources中添加日志配置文件logback-spring.xml5)编写controller6)创建原创 2020-05-09 15:44:17 · 1367 阅读 · 0 评论 -
消息驱动-消息整合利器SpringCloud Stream
文章目录一、初识Stream1、Steam名词说明2、Stream体系架构(1)Input通道(2)Output通道(3)Binder(4)目的地绑定3、消费组和消息分区(1)消费组(2)消费分区二、Stream实战1、Stream急速实战Demo(1)创建一个模块,叫做stream-sample,修改pom文件(2)修改main方法(3)创建配置文件(4)创建业务类2、消费组实现Demo(1)自...原创 2020-04-20 15:21:56 · 702 阅读 · 0 评论 -
分布式配置中心-Config
文章目录一、常规的配置设置方式1、传统配置管理的缺点二、分布式配置中心——Config1、Config的配置文件命名规则2、config小demo(1)前期准备1)创建一个git项目2)在git上创建配置文件(2)服务端代码1)创建一个config-server(配置中心的服务模块)模块,修改配置文件2)修改配置文件3)创建配置文件application.yml4)运行模块进行测试(3)客户端代码...原创 2020-04-03 09:41:10 · 868 阅读 · 0 评论 -
服务容错-Hystrix与聚合服务信息-Turbine
文章目录一、服务雪崩、降级与熔断1、服务雪崩2、服务降级与熔断二、Hystrix1、Hystrix工作原理三、Hystrix服务降级1、服务降级常用方案(1)静默处理(2)默认值(3)缓存异常(4)切换备库(5)重试(6)人工干预2、服务降级 Fallback降级小demo(1)创建hystrix-fallback模块,修改pom文件(2)修改启动类(3)创建fallback降级处理类1)其他模块...原创 2020-04-02 08:44:27 · 389 阅读 · 0 评论 -
分布式接口幂等性、分布式限流(Guava 、nginx和lua限流)
一、接口幂等性 接口幂等性就是用户对于同一操作发起的一次请求或者多次请求的结果是一致的,不会因为多次点击而产生了副作用。举个最简单的例子,那就是支付,用户购买商品后支付,支付扣款成功,但是返回结果的时候网络异常,此时钱已经扣了,用户再次点击按钮,此时会进行第二次扣款,返回结果成功,用户查询余额返发现多扣钱了,流水记录也变成了两条,这就没有保证接口的幂等性。 幂等性的核心思想:通过唯一的业务...原创 2020-03-06 13:49:32 · 1562 阅读 · 0 评论 -
分布式事务与数据一致性
如果不会mycat和sharding-jdbc一定要看,不然文章看不懂mycat和sharding-jdbc详解:https://blog.csdn.net/qq_34886352/article/details/104458171一、分布式全局id1、分库分表引发的id问题 在正常的单库系统下,为了效率id通常采用自增的方式,但是分库分表的情况,依旧采用这种方法,那么每张表每个库的id...原创 2020-03-02 11:06:55 · 728 阅读 · 0 评论 -
数据库读写分离、分库分表——mycat与shardingjdbc
文章目录一、数据切分1、垂直切分2、水平切分3、分库分表的两种模式二、使用MyCat分库分表1、系统环境2、mysql安装(1)下载mysql的yum引导(2)将文件上传到linux系统上(3)安装mysql(4)启动mysql(5)查询登录的默认密码(6)登录mysql(7)修改默认密码(8)创建用户并授权3、mycat安装(1)下载地址(2)将文件上传到linux系统上(3)解压压缩包(4)修...原创 2020-02-23 12:50:39 · 2160 阅读 · 1 评论 -
kafak快速入门到海量日志收集与日志异常警报
文章目录一、kafka环境安装二、kafka常用命令三、SpringBoot整合kafka1、添加maven依赖2、生产者配置3、生产者发送消息4、消费者配置5、生产者接收消息四、使用kafka进行海量日志收集1、海量日志收集结构2、使用log4j2日志输出(1)引入jar(2)日志配置(3)日志输出(4)MDC线程变量(sl4j的特性)3、使用filebeat日志搜集(1)安装filebeat4...原创 2020-02-13 18:02:42 · 1631 阅读 · 0 评论 -
分布式搜索引擎Elasticsearch——进阶
一、深度分页1、什么是深度分页 es 默认采用的分页方式是 from+ size 的形式,当from值非常大的时候,比如10000、5000,我们就称作深度分页。在深度分页的情况下,查询效率下是非常低的,比如from = 5000, size=10, es需要在各个分片上匹配排序并得到5000*10条有效数据,然后在结果集中取最后10条,如果有5个分片,那么es就需要汇总2.5w条数据,进行...原创 2020-01-13 15:30:26 · 833 阅读 · 0 评论 -
分布式搜索引擎Elasticsearch——基础
文章目录一、Lucene与Solr与Elasticsearch二、ES核心术语三、ES核心概念四、倒排索引五、ES的安装(centos7)1、下载地址(这里安装linux版本)2、解压压缩包3、修改配置文件(1)修改核心配置文件(2)修改JVM配置文件4、启动ES(1)添加系统用户并授权(2)ES启动(3)修改配置文件(4)再次启动ES六、安装ES-head插件(可视化管理插件)1、使用谷歌市场安...原创 2020-01-07 15:50:45 · 684 阅读 · 0 评论 -
redis从安装到三主三从集群
一、为什么要使用Redis1、读写的二八原则 大多数场景下用户的写操作次数远远小于读操作次数,例如:用户使用淘宝的时候,绝大部分时间是查询商品,下单购买的操作频率相对较低,将频繁读取的数据,写入到reids中,可以减少读取数据库的次数,降低数据库的负载,同时也能加快读取速度2、信息的统一管理 当系统部署多个节点的时候,每个节点的缓存数据独立管理,会导致系统之间的数据出现不一致,交互不及...原创 2019-12-30 11:46:21 · 1751 阅读 · 1 评论 -
Nginx从安装到高可用
一、Nginx安装1、去官网http://nginx.org/下载对应的nginx包,推荐使用稳定版本2、上传nginx到linux系统3、安装依赖环境(1)安装gcc环境yum install gcc-c++(2)安装PCRE库,用于解析正则表达式yum install -y pcre pcre-devel(3)zlib压缩和解压缩依赖yum install -y zlib...原创 2019-12-17 15:56:11 · 2508 阅读 · 1 评论