daiyudong2020的博客

一、本文目的是介绍go-diskqueuego-diskqueue，应用于nsq：https://github.com/nsqio/nsq，作用是存储内存装不下的消息，并支持读取。go-diskqueue：https://github.com/yudongdai/go-diskqueue/blob/master/diskqueue.go(注释版)二、文件的组织2.1文件的组成2.1.1元数据，文件名格式如下：{TopicName}.diskqueue.meta.dat，每个Top..

浅析日志结构的存储引擎(1)-bitcask浅析日志结构的存储引擎(2)-SSTable和LSM-Tree浅析存储引擎(3)-B-tree一、磁盘碎片率由于B-tree存储引擎按固定页写入，那么通常每一页都会有些空间无法使用。而LSM-tree不是面向页的，并且定期重写SSTable以消除碎片化，所以具有较低的碎片率。二、写入速度LSM-tree通常能够承受比B-tree更高的写入...

浅析日志结构的存储引擎(1)-bitcask浅析日志结构的存储引擎(2)-SSTable和LSM-Tree前面两篇文章介绍了比较好理解的日志结构引擎LSM-Tree，但它们不是最常见的索引类型。目前最广泛使用的索引结构是B-tree。像SSTable一样，B-tree维护着按键排序的key-value对，这样可以实现高效的key-value查找和区间查询。一、B-tree的存储...

基于上一篇文章，我们已经知道了日志结构的存储引擎-bitcask的基本原理。在这个基础上，继续讨论SSTable。回顾一下bitcask的key-value，它在段文件中是无序的，假设按key排序，并且要求每个key在每个段中只能出现一次，排好序再写入到段文件中，这种格式称之为SSTable。一、SSTable比bitcask有什么优点？1，由于key在一个段中只出现一次，可以使用类似...

这系列文章主要是讲key-value结构的存储引擎，比如bitcask、sstable、LSM-tree等。不涉及内存型的key-value，比如redis。一、数据写入与查找对于数据写入磁盘，最简单最快的方式就是顺序写入磁盘，用简单追加日志文件的方式，就达到了性能的最高效。假设我们把key-value在文件中的offset也记录下来，那么我们就能从磁盘中查找到这对key-va...

一、对比行存储和列存储的区别前，我们先来聊下背景。假设我们用mysql做了一个商品订单库order，如下orderid name kind price kg time 1 猪肉 肉类 50 2.0 2020.01.01 2 牛肉 肉类 60 1.0 2020.01.01 3 白菜...

应用层的区别：1，MyISAM不支持外键，InnoDB支持，这是非关系型和关系型数据库的最大区别2，MyISAM不支持事务，InnoDB支持3，MyISAM不支持行锁，InnoDB支持，InnoDB也会退化为表锁4，MyISAM支持全文索引，InnoDB不支持（5.7版本后支持）5，MyISAM可以没有主键，InnoDB必须有（不设会内置）设计层的区别：1，先讲概...

一，可靠性的挑战1，人为故障是线上系统故障的首要原因，应该怎么避免1.1简化设计，易于测试1.2充分测试，覆盖场景1.3快速回滚，降低损失1.4完善监控1.5规范流程，这点最重要2，软件故障2.1简单架构，降低复杂度带来的不可控2.2选择稳定的软件，包括开源2.3要有自动恢复机制，比如限流，进程自动拉起3，硬件故障3.1多机服务，但...

介绍：MurmurHash 是一种非加密型哈希函数，适用于一般的哈希检索操作。由Austin Appleby在2008年发明，并出现了多个变种，都已经发布到了公有领域(public domain)。与其它流行的哈希函数相比，对于规律性较强的key，MurmurHash的随机分布特征表现更良好。当前的版本是MurmurHash3，能够产生出32-bit或128-bit哈希值。较早的Murmu...

一、什么是账号安全，主要涉及几大方面1，防养号 1.1 恶意注册/登录 危害：黑产养号，准备随时作恶2，防刷 2.1 刷广告 危害：破坏产品生态，涉黄涉政 2.2 撸羊毛 危害：损失直接的金钱3，防盗 3.1 盗号 危害：非法转移个人财产、诈骗、刷广告等 3....

核心代码/*** Definition for singly-linked list.* struct ListNode {* int val;* struct ListNode *pNext;* };*//*反转函数，输入待反转链表头，返回反转后的链表头 */struct ListNode* reverseList(struct Lis...

一、mysql事务隔离级别，有几种？1.读未提交（read uncommitted）2.读提交（read committed）3.可重复读（repeatable read） - default4.串行化（serializable ）二、场景分析：1.假设数据表 T 中只有1列，存在1行记录2.进行事务并发结果分别是读未提交：v1=2，v2=2...

几个关键的选项$perf top -h-p, --pid <pid> profile events on existing process id-g enables call-graph recording例如查看redis进程的内核调用，$perf top -p 28764原文出自：htt...

结论：无论是二阶段提交还是三阶段提交都无法彻底解决分布式的一致性问题------------------- 分割线随着大型网站的各种高并发访问、海量数据处理等场景越来越多，如何实现网站的高可用、易伸缩、可扩展、安全等目标就显得越来越重要。为了解决这样一系列问题，大型网站的架构也在不断发展。提高大型网站的高可用架构，不得不提的就是分布式。在分布式一致性一文中主要介绍了分布式系统中存在...

乐观锁：是一种设计思想，场景是读多写少，冲突少，用数据版本号解决一致性悲观锁：是一种设计思想，场景是写多，冲突多，每次都加锁共享锁：又称读锁，用法SELECT ... LOCK IN SHARE MODE;排它锁：又称写锁，用法SELECT ... FOR UPDATE;行锁：InnoDB的行锁是针对索引加的锁，不是针对记录加的锁。并且该索引不能失效，否则都会从行锁升级为表锁。...

先说结论写多，冲突概率高，用悲观锁。读多写少，冲突概率低，用乐观锁。数据库管理系统（DBMS）中的并发控制的任务是确保在多个事务同时存取数据库中同一数据时不破坏事务的隔离性和统一性以及数据库的统一性。乐观并发控制(乐观锁)和悲观并发控制（悲观锁）是并发控制主要采用的技术手段。无论是悲观锁还是乐观锁，都是人们定义出来的概念，可以认为是一种思想。其实不仅仅是关系型数据库系统中...

前言：选择适用的消息队列，至少要关注多个维度，基于kafka和rabbitmq，文章假定读者对消息队列已有一定的了解，探讨以下内容（1）顺序性（2）幂等性（3）持久化（4）性能（5）容灾（6）安全机制（7）可靠性一、模型（1）rabbitmq消费模型（只能路由到master处理）（2）rabbitmq生产模型（只能路由到master处理）（3...

书不再多，在于精，技术底层原理是共通的。读哪些？顺序如下。一、《UNIX环境高级编程》二、《UNIX网络编程卷1：套接字联网API》三、《UNIX网络编程卷2:进程间通信》四、《深入了解计算机系统》五、《深入linux内核架构》如何读？1，前三本精读（至少三遍），并写代码加以验证。2，后两本选读，主要是解答前三本精读后留下的疑问。3，在工...

一、环境1，磁盘：SATA，ext4，inode数量=磁盘大小/16KB2，fastdfs：5.05，关闭合并存储。3，下载代理：弃用fastdfs nginx模块，使用nginx静态路径下载。4，假设单磁盘大小为4TB，fastdfs子目录共32*32=1024个，假设每个小文件为16KB，则每个子目录需要存储24w个文件。​二、测试文件存储目录结构如下，子目录值

一、传输层TCP：对于TCP来说，数据是流式传输的，传输数据可以接近无限大，单次传输的数据受限于网络层。UDP：而对于UDP，IP报头占20字节，UDP报头占8字节，则最大的包体为65535（由报文长度字段决定）-20-8=65507，单次传输的数据受限于网络层。二、网络层局域网：MTU大约是1500字节，也就是一个IP包可以传输大约1460个字...