jenrain-CSDN博客

原创 MySQL基本运维命令

不过也有地方不建议使用连接查询，因为连接查询属于重查询，数据量大容易造成阻塞，比如阿里就明文规定禁止用三个表以上的join。做项目的时候应该遵循重业务，轻数据库的原则，能在业务层聚合，就不要用跨表查询。MYSQL root密码修改完，需停止以Mysql跳过权限表的启动进程，再以正常方式启动MYSQL，再次以新的密码登陆即可进入Mysql数据库。命令：mysqldump -u 用户名 -p 数据库名表名> 导出的文件名。命令：mysqldump -u 用户名 -p 数据库名 > 导出的文件名。

2023-01-13 22:45:00 20338 15

原创浅尝Go语言的协程实现

上述操作让本地队列成了一个小循环，但是如果目前系统中的线程的本地队列中都拥有一个超大的协程任务，那么所有的线程都将在一段时间内处于忙碌状态，全局队列中的任务将会长期无法运行，这个问题又称为全局队列饥饿问题，解决方式就是在本地队列循环时，以一定的概率从全局队列中取出某个任务，让它也参与到本地循环当中去。goexit也是汇编实现的，当执行完协程栈中的业务方法之后，就会退到goexit方法中，它会将业务协程的栈切换成调度器的栈（也就是g0栈），然后重新调用schedule函数，形成一个闭环。

2022-12-08 17:31:20 3481

原创协程库libtask学习记录

我们先从一次网络IO请求过程中的read操作为例，请求数据会先拷贝到系统内核空间中，再从操作系统的内核空间拷贝到应用程序的用户空间中。从内核空间将数据拷贝到用户空间过程中，会经历两个阶段：因为有这两个阶段，所以就有了各种网络IO的模型：而协程，就是，即业务逻辑看起来是同步的，但实际上并不阻塞当前线程（一般是靠事件循环处理来分发消息）。所以协程实际上是在单线程的环境下实现的应用程序级别的并发，就是把本来由操作系统控制的在应用程序里面实现了。由于协程在应用程序级别来处理任务，所以协程更像是一个函数，只是比普通的

2022-12-07 23:47:58 1986

原创 Gorm + Gen自动生成数据库结构体

使用gorm操作数据库的时候，需要自己来创建用于映射数据表的结构体，比较繁琐。运行上面的测试文件之后，生成了两个文件夹，其中model文件夹下面是数据表对应的结构体，query文件夹下面则是生成的查询函数。函数就可以生成对应的model，当然不仅仅会生成结构体，还可以生成一些用于查询的API，如果不需要，删除即可。这个工具不仅仅可以用来生成数据表对应的模型文件，还提供了更加安全以及方便的API。

2022-11-11 21:25:49 7463

原创四、RabbitMQ TTL、死信队列以及延迟队列

比如十分钟内未支付则取消订单，原先这个功能我们可以使用定时器来实现，即每隔一段时间去数据库对比未支付订单的当前时间与订单创建时间。生产者生产一条消息，然后指定消息的TTL为10s，接着将消息发给普通队列，消息在普通队列中过期后被发往死信交换机，死信交换机将这条消息路由给延迟队列。消费者一直在监听到延迟队列中的死信后，开始消费。延时队列就是用来存放需要在指定时间被处理的元素的队列，通常可以用来处理一些具有过期性操作的业务。（死信交换机），进而被路由到另一个队列中，这个队列就叫做死信队列。

2022-11-06 23:38:05 1540

原创三、RabbitMQ消息的可靠投递

自动确认是指，当消息一旦被Consumer接收到，则自动确认收到，并将相应 message 从 RabbitMQ 的消息缓存中移除。但是在实际业务处理中，很可能消息接收到，业务处理出现异常，那么该消息就会丢失。生产者端在向Broker发送消息的时候，我们使用一个无缓冲的通道来接收来自Broker的回复，然后创建一个协程监听这个无缓冲通道。，即队列发送消息给消费者的时候，不再采用轮询机制，而是一个消费者消费完消息之后，会调用。在编码中，关于消息的确认方式，我们需要在消费者端调用。

2022-11-06 20:01:51 1334

原创二、RabbitMQ的五种工作模式

1.简单（Simple）模式P：生产者，也就是要发送消息的程序。C：消费者：消息的接收者，会一直等待消息到来。queue：消息队列，图中红色部分。类似一个邮箱，可以缓存消息；生产者向其中投递消息，消费者从其中取出消息。简单模式就是单发单收，消息的消费者监听消息队列，如果队列中有消息，就消费掉，消息被拿走后，自动从队列中删除。2.工作队列（Work Queue）模式公平分发：每个消费者接收消息的概率是相等的，消息队列会循环依次给每个消费者发送消息，这种是默认的策略。

2022-11-05 23:12:10 2713

原创一、Rabbit的介绍与安装

MQ全称 Message Queue（消息队列），是在消息的传输过程中保存消息的容器。多用于分布式系统之间进行通信。以HTTP为代表的REST，操作简单但是缺点很明显，就是没有长连接。使用RPC通信，缺点是操作一般是同步的，而且各个模块之间的耦合度比较高。消息队列也可以作为一种第三方工具介入分布式系统之间的通信。MQ的优势和劣势应用解耦：使用 MQ 使得应用间解耦，提升容错性和可维护性。异步提速：可以提升用户体验和系统吞吐量（单位时间内处理请求的数目）。削峰填谷：提高系统稳定性。

2022-11-05 17:04:16 1503

原创 Golang sync.Map原理分析

上述结构体中的read字段实际上是一个包含map的结构体，该结构体中的map是一个read map，对该map的访问不需要加锁，但是增加的元素不会被添加到这个map中，元素会被先增加到dirty中，后续才会被迁移到read只读map中。的长度，就开始迁移数据，程序会直接将m.dirty提升为m.read，然后将m.dirty置为nil，等到下次插入新数据的时候，程序才会把read map中的值全部复制给dirty map。读取时会先查询 read，不存在再查询 dirty，写入时则只写入 dirty。

2022-11-01 19:42:35 717

原创 Go实现快速列表

快速列表（quicklist）是Redis中特有的一种数据结构，主要是为了解决双端链表的弊端：双端链表的附加空间比较高，因为prev和next指针会占掉一部分的空间（64位系统占用8 + 8 = 16字节）.而且链表的每个节点都是单独分配内存，会加剧内存的碎片化。Redis中的快速列表实际上是zipList（经过优化过的数组）和linkedList的混合体，它把zipList放在linkedList的每个结点中，实现紧凑存储。

2022-11-01 11:24:55 645

原创 GO实现跳跃表

跳跃表（skiplist）是一种有序的数据结构，它通过建立多层"索引"，从而达到快速访问节点的目的. 跳跃表支持平均O(logN)、最坏O(N)复杂度的节点查找，还可以通过顺序性操作来批量处理节点。下面是一个跳表结构的示意图，其实跳表就是一个二维链表，只有最底层的链表中存着数据，其他层都是在第一层基础上建立的索引，越靠近上层，节点之间的跨度就越大，跳表的查询范围也越大。依靠着这些索引，跳表可以实现接近二分查找的查找效率。

2022-10-31 23:43:30 765

原创数据库与缓存一致性解决方案

项目中如果用到了缓存，就会涉及到数据库与缓存的双写，由于这两个操作不是原子性的，在并发的场景下，容易产生数据库与缓存不一致的情况。

2022-10-12 16:13:59 3697 2

原创四、Docker容器数据卷

数据卷（Data Volumes）是宿主机中的一个目录或文件，数据卷的设计目的就是数据的持久化，完全独立于容器的生存周期，因此Docker不会在容器删除时删除其挂载的数据卷。当容器目录和数据卷目录绑定后，对方的修改会立即同步，一个数据卷可以被多个容器同时挂载，一个容器也可以被挂载多个数据卷。数据卷的作用容器数据持久化外部机器和容器间接通信容器之间数据交换。

2022-09-12 15:53:23 1096

原创十、kubernetes 数据存储

在前面已经提到，容器的生命周期可能很短，会被频繁地创建和销毁。那么容器在销毁时，保存在容器中的数据也会被清除。这种结果对用户来说，在某些情况下是不乐意看到的。为了持久化保存容器的数据，kubernetes引入了Volume的概念。 Volume是Pod中能够被多个容器访问的共享目录，它被定义在Pod上，然后被一个Pod里的多个容器挂载到具体的文件目录下，kubernetes通过Volume实现同一个Pod中不同容器之间的数据共享以及数据的持久化存储。

2022-09-09 10:30:29 511 1

原创九、kubernetes Service详解

在kubernetes中，pod是应用程序的载体，我们可以通过pod的ip来访问应用程序，但是pod的ip地址不是固定的，这也就意味着不方便直接采用pod的ip对服务进行访问。Service在很多情况下只是一个概念，真正起作用的其实是kube-proxy服务进程，每个Node节点上都运行着一个kube-proxy服务进程。当创建Service的时候会通过api-server向etcd写入创建的service的信息，而kube-proxy会基于监听的机制发现这种Service的变动，然后。

2022-09-09 10:12:08 481 1

原创八、kubernetes Pod控制器

Pod是kubernetes的最小管理单元，在kubernetes中，按照pod的创建方式可以将其分为两类：自主式pod：kubernetes直接创建出来的Pod，这种pod删除后就没有了，也不会重建控制器创建的pod：kubernetes通过控制器创建的pod，这种pod删除了之后还会自动重建什么是Pod控制器。

2022-09-06 11:41:46 450 1

原创七、kubernetes Pod调度

在默认情况下，一个Pod在哪个Node节点上运行，是由Scheduler组件采用相应的算法计算出来的，这个过程是不受人工控制的。但是在实际使用中，这并不满足的需求，因为很多情况下，我们想控制某些Pod到达某些节点上，那么应该怎么做呢？

2022-09-05 16:26:15 551 1

原创六、kuternetes Pod生命周期

我们一般将pod对象从创建至终的这段时间范围称为pod的生命周期，它主要包含下面的过程：pod创建过程运行初始化容器（init container）过程运行主容器（main container）容器启动后钩子（post start）、容器终止前钩子（pre stop）容器的存活性探测（liveness probe）、就绪性探测（readiness probe）pod终止过程在整个生命周期中，Pod会出现5种（

2022-09-05 16:25:18 442

原创五、kuternetes Pod介绍与配置

每个Pod中都可以包含一个或者多个容器，这些容器可以分为两类：用户程序所在的容器，数量可多可少Pause容器，这是每个Pod都会有的一个根容器，它的作用有两个：可以以它为依据，评估整个Pod的健康状态可以在根容器上设置Ip地址，其它容器都使用这个Ip（Pod IP），以实现Pod内部的网路通信这里是Pod内部的通讯，Pod的之间的通讯采用虚拟二层网络技术来实现，我们当前环境用的是Flannel。

2022-09-05 15:20:36 883 1

原创四、kubernetes五种核心资源对象

kubernetes通过将集群内部的资源分配到不同的Namespace中，可以形成逻辑上的"组"，以方便不同的组的资源进行隔离使用和管理。可以通过kubernetes的授权机制，将不同的namespace交给不同租户进行管理，这样就实现了多租户的资源隔离。在kubernetes中，Pod是最小的控制单元，但是kubernetes很少直接控制Pod，一般都是通过Pod控制器来完成的。Pod控制器用于pod的管理，确保pod资源符合预期的状态，当pod的资源出现故障时，会尝试进行重启或重建pod。

2022-09-03 23:25:49 969 1

原创三、kubermetes资源管理（YAML介绍、资源管理方式）

在kubernetes中，所有的内容都抽象为资源，用户需要通过操作资源来管理kubernetes。 kubernetes的本质上就是一个集群系统，用户可以在集群中部署各种服务，所谓的部署服务，其实就是在kubernetes集群中运行一个个的容器，并将指定的程序跑在容器中。 kubernetes的最小管理单元是pod而不是容器，所以只能将容器放在Pod中，而kubernetes一般也不会直接管理Pod，而是通过Pod控制器来管理Pod的。

2022-09-03 16:31:45 975 1

原创二、kubernetes集群环境搭建

本次环境搭建需要安装三台Centos服务器（一主二从），然后在每台服务器中分别安装docker（18.06.3），kubeadm（1.17.4）、kubelet（1.17.4）、kubectl（1.17.4）程序。selinux是linux系统下的一个安全服务，如果不关闭它，在安装集群中会产生各种各样的奇葩问题。swap分区指的是虚拟内存分区，它的作用是在物理内存使用完之后，将磁盘空间虚拟成内存来使用。节点执行即可，插件使用的是DaemonSet的控制器，它会在每个节点上都运行。

2022-09-03 14:31:33 192 1

原创一、kubernetes 介绍（组件、概念）

kubernetes的本质是一组服务器集群，它可以在集群的每个节点上运行特定的程序，来对节点中的容器进行管理。自我修复：一旦某一个容器崩溃，能够在1秒中左右迅速启动新的容器弹性伸缩：可以根据需要，自动对集群中正在运行的容器数量进行调整服务发现：服务可以通过自动发现的形式找到它所依赖的服务负载均衡：如果一个服务起动了多个容器，能够自动实现请求的负载均衡版本回退：如果发现新发布的程序版本有问题，可以立即回退到原来的版本存储编排：可以根据容器自身的需求自动创建存储卷。

2022-09-03 13:57:37 182

原创跳跃表（Go语言实现）

是Godis中用来封装跳跃表分数的结构体，向外提供了：比较大小、根据参数构造并返回一个。，一个Go语言实现的Redis数据库，这个跳跃表被用作有序集合的底层实现之一.分享一个跳跃表结构的GO实现，来源于。.........

2022-08-18 22:46:52 365

原创 Redis源码与设计剖析 -- 18.Redis网络连接库分析

Redis网络连接库对应的文件是客户端的创建与释放.命令接收与命令回复.Redis通信协议分析.CLIENT命令的实现.

2022-07-24 17:30:57 339

原创 Redis源码与设计剖析 -- 17.Redis事件处理

Redis服务器是一个事件驱动程序，所谓事件驱动就是输入一条命令并且按下回车，然后消息被组装成Redis协议的格式发送给Redis服务器，这个时候就会产生一个事件，Redis服务器会接收改命令，处理该命令和发送回复，而当我们没有与服务器进行交互时，服务器就会处于阻塞等待状态，它会让出CPU然后进入睡眠状态，当事件触发时，就会被操作系统唤醒.文件事件时间事件Redis服务器中的一些操作（比如serverCron函数）需要在给定的时间点执行，而时间事件就是服务器对这类定时操作的抽象....

2022-07-24 16:10:23 176

原创 Redis源码与设计剖析 -- 16.AOF持久化机制

除了RDB持久化功能之外，Redis还提供了持久化功能。与RDB持久化通过保存数据库中的键值对来记录数据库状态不同，AOF持久化是以日志的方式记录Redis服务器所执行的写命令。

2022-07-24 00:07:43 289

原创 Redis源码与设计剖析 -- 15.RDB持久化机制

因为Redis是内存数据库，它将自己的数据库状态储存在内存里面，所以如果不想办法将储存在内存中的数据库状态保存到磁盘里面，那么一旦服务器进程退出，服务器中的数据库状态也会消失不见.为了解决这个问题，Redis提供了RDB持久化功能，它会生成一个压缩的二进制文件，通过该文件可以还原生成的RDB文件时的数据库状态....

2022-07-23 23:33:29 250

原创 Redis源码与设计剖析 -- 14.数据库实现

注意在实际中，键空间的键和过期字典的键都指向同一个键对象（只是增加引用计数），所以不会出现任何重复对象，也不会浪费任何空间.都会调用这个底层的函数，这个函数非常简单，就是从键值对字典中先找到键名对应的键对象，然后取出值对象.函数就会被调用，它在规定的时间内，分多次遍历服务器中的各个数据库，从数据库的。以上四个命令都是用来设置键的过期时间的，但在执行时，其它三个命令都会转化成。字典保存这设置了过期时间的键和过期的时间，我们称这个字典为过期字典.字典中随机检查一部分键的过期时间，并删除其中的过期键....

2022-07-22 16:22:54 475

空空如也

空空如也