shenmingik-CSDN博客

原创秋招项目ByteTalk —— 分布式集群的聊天系统

文章目录写在前面系统前置知识ByteTalk架构设计图ByteTalk架构 —— nginx反向代理负载均衡nginx 反向代理的配置ByteTalk架构 —— 服务器群（服务单元）ByteTalk 服务单元 —— 抽象服务节点：ProxyServiceByteTalk 抽象服务节点 —— 聊天处理服务器：ChatServerByteTalk 业务服务单元 —— 以登录、注册节点：UserService为例ByteTalk 架构缺陷参考文献作者：shenmingik邮箱：[email protected]

2021-05-05 14:59:58 2628 8

原创一个基于 protobuf 和 zookeeper 的RPC框架 —— C++实现

文章目录认识RPCRPC框架的设计protobuf 作用zookeeper认识RPCRPC的全称是远程过程调用（Remote Procedure Call）。什么是远程过程调用呢？那么对于一个聊天系统有int send_information(int friend_id,string msg)这个方法，我们的一个处理逻辑是不是这样：调用bool is_exist(int friend_id)判断用户是否在线根据结果在决议是发送在线消息还是离线消息。那么对于一个继承了登录和聊天功能的系统，我

2021-04-18 22:51:28 3021 15

原创基于C++11的muduo网络库

文章目录作者：shenmingik邮箱：[email protected]时间：2021/1/26 22:17开发环境：Ubuntu VS Code编译器：g++编程语言：C++源码连接：https://share.weiyun.com/PTtAqitJ

2021-02-15 13:44:50 2068 3

原创基于muduo网络库的集群聊天系统（C++实现）

文章目录作者：shenmingik邮箱：[email protected]时间：2021/1/26 22:17开发环境：Ubuntu VS Code编译器：g++数据库：MySQL编程语言：C++源码连接：https://pan.baidu.com/s/1nfPZ9uKmqSiAsWTGQR57Ug

2021-01-27 12:57:53 4942 18

原创 StableDiffusion 文生视频教程，从Mov2mov到AnimateDiff

本文介绍了如何使用Stable Diffusion模型进行文生视频的生成，包括三个发展阶段：Mov2mov、ffmpeg + Ebsynth和AnimateDiff。Stable Diffusion是文生视频的扩散模型，具备生成半AI视频和全AI视频的能力。Mov2mov是早期的文生视频插件，通过重新绘制每一帧生成新视频。ffmpeg + Ebsynth以关键帧+插帧为解决方案，提高了视频连贯性。AnimateDiff通过对每X帧的剧本式描述，生成全AI视频。

2024-05-04 23:17:01 960

原创赛博炼丹师手记

本文提供了详细的炼丹（训练AI模型）指南，主要针对的是使用Lora模型进行个性化定制。文章首先介绍了丹炉（训练工具）的选择和下载方式，然后详细阐述了炼丹手法，包括前置准备、数据标注、开始炼丹和结果验收等步骤。在炼丹心法部分，作者深入讲解了炼丹过程中的一些重要参数，如步数、效率和质量相关参数，这些参数的设置会直接影响到模型的训练效果。最后，作者还提供了一些相关的参考文献，以供读者进一步学习和探索。

2024-04-06 18:32:26 990

原创 Transformer——词向量

章讲解了独热编码的概念和局限性，然后详细阐述了词向量的概念及其优点，例如降低维度和捕捉语义关系。文章还深入讲解了几种主流的词向量训练方法，包括Word2Vec、GloVe和FastText，并列举了词向量在自然语言处理任务中的应用。此外，文章还讨论了如何通过权重矩阵获取词向量，以及词向量存在的局限性。这篇文章是理解自然语言处理中词向量的极好参考资料。

2024-03-03 20:13:33 1660

原创 Transformer——Attention 注意力机制

softmax函数的输入由key向量和query向量之间的点积组成,key向量和query向量的维度越大，点积往往越大, 原文论中12个head对应的大小是64，作者在原论文中采用的补救措施，是将点积除以key和query维度的平方根。人类通过眼睛的视觉单元去扫描图像，其中的重点区域会被大脑的神经元处理从而获得更多的信息，这是人类长期精华所获得的一种能力。计算机的注意力机制模型就是从大量信息（Values）中筛选出少量的重要信息，这个重要信息对于另外一个信息（Query）是重要的。

2024-02-17 15:35:24 1147 1

原创 Transformer——位置编码（Positional embding）

注：位置最合理的表示是0,1,2,3,4…，但是每个词用的是嵌入向量表示，不是一个值，没法加，所以得做一个变换映射成嵌入维度，变换后还得包含位置属性，正好和差化积公式可以包含。原先无位置编码的做法是对输入Je 进行self-attention运算，得到N维词向量。引入位置编码之后，我们对位置信息也计算出一个N维位置词向量。但是由于并行计算，原有的词向量失去了其在原有语句中的。进行叠加，我们便能得到蕴含位置信息的词向量。经过线性组合得到，这也就可以说明第。为了解决这个问题，故提出了。

2024-01-10 12:53:09 1234

原创 Spanner on a modern columnar storage engine 中文翻译

执行大规模迁移是一项包括战略设计、自动化、设计流程以及随着工作进展而转移执行方案的工作。通过系统化和有原则的方法，我们在短时间内实现了大规模迁移，涉及管理的超过 6 EB 数据和 20 亿 QPS 在 Spanner 中的峰值，并且服务可用性、可靠性和完整性不受影响。Google 的许多关键服务都依赖于 Spanner，并且已经通过这次迁移看到了显着的改进。此外，新的存储引擎为许多未来的创新提供了一个平台。以后会越来越好。

2024-01-07 16:42:59 1073

原创 stable diffusion 百宝书

去下方网站获取git的win安装包，之后不断点击下一步就可以了：安装完之后，运行唤出控制台，执行如下命令检验是否安装完成0.1.2 python 环境搭建去下方网站获取python的win安装包，之后不断点击下一步就可以了。在最后一步，一定要选择环境变量。安装完之后，运行唤出控制台，执行如下命令检验是否安装完成0.1.2.1 配置pip国内镜像源运行唤出控制台，输入如下命令0.1.3 stable diffusion环境搭建去想要安装的盘符上新建个文件夹用于存放stable diffu

2023-07-02 17:59:29 3020 15

原创 BPF——CPU分析工具

下面是在笔者电脑上使用execsnoop的一个例子：笔者在terminal 1开启execsnoop程序监听新创建的且进程名称中含有字符gr的进程，然后再terminal 2连接远程Linux，下面是这个过程中系统所创建的进程信息。对于传统的CPU分析工具，比如说top。其对于运行时间十分短的进程是无法做到检测的，在这种场景下就可以考虑使用execsnoop来捕获这些进程。

2023-06-01 22:15:40 1162

原创 bpftrace 指南

Alastair 与2016.12创建了bpftrace。bpftrace 是一款基于BPF和BCC的开源跟踪器。其自带了许多多性能工具和支持文档，同时提供了一个高级编程语言环境，可以用来创建强大的单行程序和小工具。

2023-05-03 16:57:40 1336 1

原创 Linux 内核观测技术BPF

BPF允许任何人在Linux内核之中执行任意的代码，这听起来的十分危险，但是由于有着使得这一过程变的相当的安全。BPF时内核的一个模块，所有的BPF程序都必须经过它的审查才能够被加载到内核之中去运行。验证器执行的就是对BPF虚拟机加载的代码进行。这一步的目的是保证程序可以按照预期去结束，而不会产生死循环拜拜浪费系统资源。验证器会创建一个DAG（有向无环图），将BPF程序的每个执行首位相连之后去执行DFS（深度优先遍历），当且仅当每个路径都能达到DAG的底部才会通过验证。之后其会执行。

2023-03-12 16:44:27 2027

原创 container_of 根据成员变量获得包含其的对象的地址！

这个宏可以根据某个成员变量的地址得到包含这个成员变量地址的对象的地址

2023-02-12 16:53:13 465

转载 LevelDB 从源码层次上看Compaction过程

文章目录Compaction过程minor compaction1）触发minor compaction的时间2）将immutable memtable落盘成SSTable3）将edit信息记录到versionmajor compaction1）触发major compaction的时机2） compaction流程参考文献Compaction过程在LevelDB中，Compaction主要由两种：minor compaction：这个就是immutable持久化到Level 0层的过程。这里最重

2022-02-18 20:43:41 456

转载 LevelDB 源码层次上看读取过程

文章目录读取流程1）memtable查找2) immutable查找3）SSTable查找参考文献读取流程LevelDB的读取流程相对简单，从其中读取一个数据，会按照从上而下memtable->immutable->sstable的顺序读取，读不到就从下一个层级读取，因此LevelDB更适合读取新写入的数据。流程如下图：Level0中的文件直接由Immutable通过dump产生，所以说，这一level的文件之中的key可能会相互重叠，所以需要对level0的每个文件依次查找。对于其他

2022-02-18 15:25:24 494

转载 LevelDB 源码层次看写数据时的过程

文章目录

2022-02-17 17:56:14 303

原创 LevelDB SSTable

文章目录什么是SSTableSSTable 的基本部件block 的实现插入操作有趣的变长整型及实现存储block的元信息：BlockHandle过滤器Filter的实现SSTable的实现data_blockindex_block插入数据什么是SSTableSSTable 全称是 sort string table，也叫有序字符串表。在LevelDB中用于存储KV结构的数据。SSTable 的基本部件SSTable的主要由一个个block构成。之后添加上这个block的压缩类型信息 type 和

2022-02-15 15:47:44 583

原创 LevelDB的缓存机制

文章目录缓存的作用基本组件LRUCacheHashHandle插入元素LRUCache插入元素ShardedLRUCache参考文献缓存的作用leveldb为了提高写的性能，牺牲了部分的读性能。最差的情况可能需要遍历各个level中的每个文件。为了缓解读性能，leveldb引入了缓存机制，当然，版本信息中包含各个level的文件元信息在一定程度上也可以提高读性能。基本组件整个缓存模块的基本组件由上至下分为：ShardedLRUCache、LRUCache、HandleTable、LRUHandle。

2022-02-11 23:00:47 996

原创 LeetCode —— 10. 正则表达式匹配

文章目录题目描述示例示例1示例2示例3示例4解题思路代码呈现参考文献题目描述给你一个字符串 s 和一个字符规律 p，请你来实现一个支持 ‘.’ 和 ‘*’ 的正则表达式匹配。‘.’ 匹配任意单个字符‘*’ 匹配零个或多个前面的那一个元素所谓匹配，是要涵盖整个字符串 s的，而不是部分字符串。示例示例1输入：s = "aa" p = "a"输出：false解释："a" 无法匹配 "aa" 整个字符串。示例2输入：s = "aa" p = "a*"输出：true解释：因为 '*'

2022-02-07 17:54:25 126

原创 LeetCode —— 1312. 让字符串成为回文串的最少插入次数

文章目录题目描述示例示例一示例二示例三示例四示例五解题思路代码呈现参考文献题目描述给你一个字符串 s ，每一次操作你都可以在字符串的任意位置插入任意字符。请你返回让 s 成为回文串的最少操作次数。「回文串」是正读和反读都相同的字符串。示例示例一输入：s = "zzazz"输出：0解释：字符串 "zzazz" 已经是回文串了，所以不需要做任何插入操作。示例二输入：s = "mbadm"输出：2解释：字符串可变为 "mbdadbm" 或者 "mdbabdm" 。示例三输入：

2022-02-06 19:15:05 603

原创 LeetCode —— 76. 最小覆盖子串

文章目录题目描述示例示例一示例二示例三解题思路代码呈现参考文献题目描述给你一个字符串 s 、一个字符串 t 。返回 s 中涵盖 t 所有字符的最小子串。如果 s 中不存在涵盖 t 所有字符的子串，则返回空字符串 “” 。注意：对于 t 中重复字符，我们寻找的子字符串中该字符数量必须不少于 t 中该字符数量。如果 s 中存在这样的子串，我们保证它是唯一的答案。示例示例一输入：s = "ADOBECODEBANC", t = "ABC"输出："BANC"示例二输入：s = "a", t

2022-02-03 18:56:25 216

原创高维数据存储 —— R 树

文章目录概览为什么需要R树R树概览为什么需要R树R树基于B树分段查询的思想。如果说B树更多的是在一维空间下，那么R树则是可以工作在更高维的空间下。我们拿美团距离，假如说我们想要知道两公里范围内的可配送商家都有哪些？那么如果我们拿B树存储，其对于美团的商家的经度需要建立一棵B树，而对于纬度一样也需要建立一颗B树。我们这里拿坐标表示，假设我们要寻找[5,5]~[8,8]这个范围的所有商家，寻找过程如下：首先我们要要寻找经度在[5,8]范围的商家，得到结果 E、F、G、H之后我们根据纬度B树得到结果

2022-01-30 21:44:26 2258 3

原创 LeetCode —— 142. 环形链表 II

文章目录题目描述示例示例一示例二示例三解题思路代码呈现参考文献题目描述给定一个链表，返回链表开始入环的第一个节点。如果链表无环，则返回 null。如果链表中有某个节点，可以通过连续跟踪 next 指针再次到达，则链表中存在环。为了表示给定链表中的环，评测系统内部使用整数 pos 来表示链表尾连接到链表中的位置（索引从 0 开始）。如果 pos 是 -1，则在该链表中没有环。注意：pos 不作为参数进行传递，仅仅是为了标识链表的实际情况。不允许修改链表。示例示例一输入：head = [

2022-01-29 12:20:07 163

原创 LeetCode —— 752. 打开转盘锁

文章目录题目描述示例示例一示例二示例三示例四解题思路代码呈现参考文献题目描述你有一个带有四个圆形拨轮的转盘锁。每个拨轮都有10个数字： ‘0’, ‘1’, ‘2’, ‘3’, ‘4’, ‘5’, ‘6’, ‘7’, ‘8’, ‘9’ 。每个拨轮可以自由旋转：例如把 ‘9’ 变为 ‘0’，‘0’ 变为 ‘9’ 。每次旋转都只能旋转一个拨轮的一位数字。锁的初始数字为 ‘0000’ ，一个代表四个拨轮的数字的字符串。列表 deadends 包含了一组死亡数字，一旦拨轮的数字和列表里的任何一个元素相同，这个

2022-01-28 16:33:58 209

原创 LeetCode —— 99. 恢复二叉搜索树

文章目录题目描述示例示例一示例二题目描述给你二叉搜索树的根节点 root ，该树中的恰好两个节点的值被错误地交换。请在不改变其结构的情况下，恢复这棵树。示例示例一输入：root = [1,3,null,null,2]输出：[3,1,null,null,2]解释：3 不能是 1 的左孩子，因为 3 > 1 。交换 1 和 3 使二叉搜索树有效。示例二输入：root = [3,1,4,null,null,2]输出：[2,1,4,null,null,3]解释：2 不能在

2022-01-27 18:18:04 912

原创分布式共识算法 —— Raft详解

文章目录分布式共识算法顺序一致性线性一致性因果一致性Raft 算法原理概览选举机制参考文献分布式共识算法首先我们先明确这个问题：为什么需要分布式共识算法？这就要从当前的分布式系统设计的缺陷来看了，假设我们的集群现在有两个客户端和三个服务端，如下图：在这个分布式系统的设计中，往往要满足CAP理论，而分布式共识算法解决的就是CAP理论中的一致性问题。整个一致性问题分为三种问题：顺序一致性线性一致性因果一致性顺序一致性顺序一致性是1979年Lamport 在论文《How to Make a

2022-01-19 14:57:09 18596 6

原创 LSM Tree

文章目录LSM Tree原理LSM Tree的归并操作LevelDB中的应用LSM Tree的查询参考文献LSM Tree原理在正式介绍LSM Tree之前，我想先提出一个问题的答案：为什么需要LSM Tree ？LSM Tree的主要应用领域是磁盘KV存储。在传统的数据结构，如B+树中，其大多的特点都是具有非常良好的读性能，其都是应对多读少写的应用场景。但是由于磁盘寻道时间以及磁头移动等因素，其没有良好的写性能。所以这就引入了LSM Tree这种数据结构。LSM Tree全程是Log Struct

2022-01-14 22:42:13 241

原创 Spark 开发入门

文章目录Spark是什么DAG有向无环图spark环境搭建Spark开发pyspark使用pythonSpark初始化创建RDD数据的读取和保存文本文件Json文件RDD的转换操作RDD的行动操作集合操作mysql读取Spark是什么整个Hadoop生态圈分为分布式文件系统HDFS、计算框架MapReduce以及资源调度框架Yarn。但是随着时代的发展，MapReduce其高强度的磁盘IO、网络通信频率以及写死了的使得其严重拖慢了整个生态圈的运行速度。Spark因此而生。首先我们来讲一下原有的MapR

2022-01-09 16:15:45 1377

原创搜索引擎技术 ——链接分析

文章目录

2022-01-03 22:41:38 10921

原创 centos上gtest安装与使用

文章目录gtest安装dnf源更新安装gtestgtest的使用gtest安装dnf源更新输入以下命令：sudo yum install epel-releasesudo yum install dnf安装gtestsudo dnf install dnf-plugins-coresudo dnf install gtest gtest-develgtest的使用...

2021-12-30 16:33:30 3061

原创 Gos —— shell程序

文章目录fork原理实现Init进程shell进程pwd命令实现原理cd命令实现原理rm命令实现原理参考文献fork原理fork的作用主要是利用老进程克隆出来一个新进程并使新进程执行。所以fork可以简单的分为两步：复制进程资源跳过去执行/** * @brief fork子进程 * * @return pid_t 成功，父进程返回子进程的pid;失败返回-1 */pid_t sys_fork(void);当然，作为新进程其首先肯定是要在内存中有自己的空间的，所以我么首先要做的就

2021-12-24 21:59:08 487

原创 clang-format安装配置与vscode支持

文章目录calng-format安装centos下clang-format安装ubuntu下clang-format的安装vscode支持clang-formatclang-format使用参考文献calng-format安装centos下clang-format安装centos 的yum仓库中并没有clang-format的安装包，需要更新repo源：sudo yum install centos-release-scl-rh之后下载clang-format：sudo yum install

2021-12-24 13:22:08 9176

原创 C++高级 —— 泛型算法

文章目录增强for循环for_each排序算法topK问题：partial_sort和nth_element数据分类：partition查找算法二分查找：binary_search大于等于：lower_bound参考文献c++中的算法是工作在容器上的一些泛型函数，其会对容器内的元素实时各种操作。这篇博客就是记录一些C++提供的常用的算法。增强for循环for_each这个是手写for循环的真正替代品，使用方式见如下代码：#include <iostream>#include <a

2021-12-23 16:46:03 854 3

原创 C++高级 —— String

文章目录认识String使用String字面量原始字符串字符串转换函数字符串视图参考文献认识Stringstring可以说是我们最常用的类，但是其本质不是一个真正的类，而是一个typedef：using string = std::basic_string<char>;其是basic_string的特化。basic_string是C++为字符串设计的模板类，采用不同的模板搭配不同的字符类型，可以更有弹性的处理各种文字，常见的特化如下：using wstring = std::basi

2021-12-23 14:11:15 936

原创 C++、Python混合编程

文章目录安装C++中的python扩展模块使用C++编写python模块STL适配编写参考文献安装C++中的python扩展模块Python本身有着C接口，可以用C语言编写扩展模块，提供这个扩展的就是pybind11，有了它我们就能使用C++来开发Python扩展了。首先我们需要在centos环境下安装这个库，使用以下命令：sudo yum -y install python3-develsudo yum -y install python3-pippip3 install pytestpip

2021-12-19 19:08:57 2498

原创 Linux上curl的安装和使用

文章目录curl 下载curl的安装curl的使用（C/C++）curl的easy系列参考文献curl 下载这个直接在官网上使用wget下载就可以：wget --no-check-certificate https://curl.haxx.se/download/curl-7.80.0.tar.gzcurl的安装我们解压下载后的安装包：tar zxvf curl-7.80.0.tar.gz进入解压后的目录：cd curl-7.80.0执行配置文件：./configure

2021-12-18 12:38:57 3837 4

原创 Gos —— 文件系统

文章目录inode索引表inode 结构inode 操作打开inode回收inode超级块目录创建文件系统inode索引表磁盘的IO是非常慢的，所以引入的块的概念，其是多个扇区组成的，也是文件系统的基本读写单位，所以一个文件至少要占一个块。当文件的大小过大的时候，其会占用多个块，而这些块可能在不同的地方。而其中记录哪个块对应哪个文件的元信息就被称之为文件分配表（FAT）。FAT采用索引来组织，其为每个文件的所有块建立一个索引表，索引表就是块地址数组。每个数组元素就是块的地址，数组元素下标就是文件块的

2021-12-17 16:39:42 1200

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

第三方库json源码

学生学籍管理系统（双文件）.docx

学生成绩管理系统.doc

通讯录管理系统.docx

个人收支管理系统.docx

飞机订票系统.docx

饭卡模拟系统.docx

产品销售信息查询系统.docx

班级档案管理系统.docx

ATM模拟系统.docx

职工信息管理系统.docx

2048小游戏.docx

空空如也