rsy56640-CSDN博客

原创 Perfbook 阅读笔记（持续更新）

https://github.com/rsy56640/triviality/tree/master/content/perf-book

2019-12-15 11:58:04 3943

原创 Rethinking Multi-Master Database with Poset Logging

有了一些初步的想法，但是现在先不急着给出方案。。。关键我也不知道能不能成本文可能更新若干年，也有可能鸽了

2019-12-14 22:56:35 1392

原创分布式计算 ——原理、算法与系统（Distributed Computing —— Principles, Algorithms, and System）读书笔记持续更新

分布式计算 ——原理、算法与系统Distributed Computing —— Principles, Algorithms, and System不定期更新第一章引言第二章分布式计算模型第一章引言分布式系统：处理器、存储器、通信网络1.4 与并行多处理器/多计算机系统的关系并行系统：通过将计算任务在多个处理器之间进行分配，从而获得...

2019-04-04 13:29:08 7579 1

原创记录一些 trivial 组合数学相关

1.Sperner Theorem 设A\mathscr A为n元集，A1,A2,...,Am\mathscr A_1,\mathscr A_2,...,\mathscr A_m为A\mathscr A的子集且两两互不包含，m的最大值为(n[n/2])\binom{n}{[n/2]} proof: lemma: ∑mi=11(n|Ai|)≤1\sum_{i=1}^m \frac{1}{

2017-11-06 12:48:44 880 1

原创【日常技术批判】 InnoDB 确定 checkpoint-lsn 的一处细节

【日常技术批判】 InnoDB 确定 checkpoint-lsn 的一处细节本文假定读者已经拥有相应的背景知识，可以参考 MySQL 8.0: New Lock free, scalable WAL design 等。现在考虑确定这一轮的 available checkpoint lsn，我们这里简化一下场景，只考察3个 lsn：flushed_to_disk_lsn：redo log 已经持久化的点flush list 中模糊的 oldest modification：挂载到 flush li

2021-06-17 23:05:52 1993 1

原创 Non-Volatile Memory Database Management Systems 读书笔记

Non-Volatile Memory Database Management Systems 读书笔记正在进行中

2020-06-27 14:27:58 2820

原创 Transaction Processing on Modern Hardware 读书笔记

Transaction Processing on Modern Hardware 读书笔记正在进行中

2020-06-27 14:27:25 1951

原创 Processor Microarchitecture an Implementation Perspective 读书笔记

转到 Processor Microarchitecture an Implementation Perspective 读书笔记

2020-05-31 13:56:20 1908

原创不容易

大概就是在上个月的这时候夏令营连环被拒，没学上了，没办法，出来准备校招，正好在牛客上看到了字节跳动提前批，然后就去面了，过了。方向挺满意的，下个月打算过去了。也不是没有想到过这种情况，只是觉得太突然，但其实也很平静地接受了，也不知道将来会怎么样，慢慢走吧。不知道该怎么说，就这样吧。...

2019-07-28 23:01:52 2600 2

原创 POJ 3636 Nested Dolls -（最长上升子序列）

题目链接：http://poj.org/problem?id=3636最小链划分数 = 最长反链长度按如下关系排序：w1>w2∨(w1=w2∧h1≤h2)w_1 \gt w_2 \lor (w_1 = w_2 \land h_1 \le h_2)w1>w2∨(w1=w2∧h1≤h2)定义反链：w1≥w2∧h1≤h2w_1 \ge w_2 \land ...

2019-06-26 16:07:48 1452

原创 Hybrid Garbage Collection for Multi-Version Concurrency Control in SAP HANA 论文阅读笔记

Hybrid Garbage Collection for Multi-Version Concurrency Control in SAP HANA 论文阅读笔记GC 的基本方法是把所有 commit-ts < 最小的 txn 的 version 回收（除了最后的）。但是 OLAP 会有 long-lived read txn，ts 比较小，在这个 read duration 中的 ve...

2019-06-16 23:21:15 1753

原创 Fast Serializable Multi-Version Concurrency Control for Main-Memory Database Systems 论文阅读笔记

Fast Serializable Multi-Version Concurrency Control for Main-Memory Database Systems 论文阅读笔记这是一篇好论文Serializable MVCC implementation不允许 write-write（CAS更新？），commit-ts 作为 serialization orderdelta s...

2019-06-15 23:54:52 2898

原创 An Empirical Evaluation of In-Memory Multi-Version Concurrency Control 论文阅读笔记

An Empirical Evaluation of In-Memory Multi-Version Concurrency Control 论文阅读笔记Ref[1]中他讲了这篇论文名字的变化历程。。。上课笔记：03 Multi-Version Concurrency Control Design DecisionsConcurrency Control ProtocolVersio...

2019-06-12 21:27:40 3116

原创感觉也算是数据库入门了以及随想

不知道从啥时候开始研究DB的。。。好像就这个学期？？当时软件工程课程要选一个项目，我们4个人，有一个大佬已经写了一个解释器，老师说不能直接交上学期的解释器项目，然后我就想要不要写个DB出来（也不知道当时怎么想的），把这个解释器作为sql parser，然后我写存储引擎之类的。（当时应该说是只懂一些基本原理，但是内部构造实现之类的完全没经验。。。也不知道哪来的自信）然后写了几周，写出来个这玩意：...

2019-06-12 16:53:14 2556 1

原创 Staring into the Abyss: An Evaluation of Concurrency Control with One Thousand Cores 论文阅读笔记

Staring into the Abyss: An Evaluation of Concurrency Control with One Thousand Cores 论文阅读笔记Concurrency Control SchemeOLTP txns workload:short-livedsmall subset of data using index look-upsrepeti...

2019-06-11 18:45:05 3111

原创 Lamport Clock 笔记

Time, Clocks, and the Ordering of Events in a Distributed System 论文阅读笔记之前看过一点分布式算法：Distributed Computing —— Principles, Algorithms, and System 笔记，看这篇就比较轻松了。happens-before relation: a→ba\to ba→b, eve...

2019-06-10 14:41:46 2677

原创 Rethinking SIMD Vectorization for In-Memory Databases 论文阅读笔记

Rethinking SIMD Vectorization for In-Memory Databases 论文阅读笔记基本操作selective store将 vector lane 的一部分（根据 mask）写入连续内存selective load从连续内存读入到 vector lane 的一部分（根据 mask）selective gather从非连续内存（根据 index...

2019-06-09 00:04:20 2853

原创 Vectorization vs. Compilation in Query Execution 论文阅读笔记

Vectorization vs. Compilation in Query Execution 论文阅读笔记ProjectionVectorization对于复杂表达式，会产生很多中间列，多余的 load/storeCompilation直接把复杂表达式写成一条，无需按表达式树执行，并且省去了多余的 load/storeSelection (conjunctive)通常 branc...

2019-05-31 13:04:27 2342

原创 Percolator 论文阅读笔记

Large-scale incremental processing using distributed transactions and notifications 论文阅读笔记主要有2点：事务提交细节（lock列，write列），相当于用 SI+锁实现一致性（注意 Write Skew）2PC 细节，故障恢复需求：海量数据，随机读写，跨行事务（强一致性），高吞吐量，延迟无所谓为...

2019-05-19 15:16:33 2937

原创 Everything You Always Wanted to Know About Compiled and Vectorized Queries But Were Afraid to Ask 笔记

Everything You Always Wanted to Know About Compiled and Vectorized Queries But Were Afraid to Ask 论文阅读笔记看了 Ref[1] 和 Ref[2]，基本就差不多了Vectorization：materialization 开销，可以利用 SIMD 并行数据操作，最好是 column store...

2019-05-16 23:56:29 3242

原创 HDUOJ 5418 Victor and World -（状压DP）

题目链接：http://acm.hdu.edu.cn/showproblem.php?pid=5418#include <iostream>#include <cstdio>#include <cstdlib>#include <string>#include <map>#include <algorithm>#...

2019-05-06 14:35:50 826

原创 The Chubby lock service for loosely-coupled distributed systems 论文阅读笔记

The Chubby lock service for loosely-coupled distributed systems 论文阅读笔记特点：高可靠、高可用、粗粒度锁服务、小文件存储主要用于高可用的集群配置管理和系统元数据GFS：使用 Chubby lock 任命 master serverBigtable选举 mastermaster 轮询获得下面的 serverclien...

2019-05-02 22:06:11 3930

原创 Spanner 论文阅读笔记

Spanner: Google’s globally-distributed database 论文阅读笔记重点就是如何用 TrueTime 做 MVCC介绍分布式多版本数据库：(key, timestamp) -> row外部一致性：第一个事务提交后，第二个事务开始，那么第二个事务提交时间戳一定大于第一个事务提交时间戳实现placement driver：定期与 s...

2019-04-27 22:53:35 1897

原创 ZooKeeper: wait-free coordination for internet-scale systems 论文阅读笔记

ZooKeeper: wait-free coordination for internet-scale systems 论文阅读笔记有些表述绕来绕去，似乎也没什么内容个人感觉就2点：leader 把写请求转换成幂等的写事务leader 广播写事务的通道是 FIFO 的特征client 请求（大多是读）对同一 client 的请求是 FIFO 执行的写请求由 leade...

2019-04-26 14:42:10 856

原创 Bigtable 论文阅读笔记

Bigtable: a distributed storage system for structured data 论文阅读笔记数据模型(row: string, column: string, timestamp: int64) -> string对 row 的单个操作是原子的，将 row 按照 key 排序，一个 row range 作为一个 tablet，即若干个 SSTabl...

2019-04-22 23:12:22 625

原创 Spinnaker 论文阅读笔记

Using Paxos to build a scalable, consistent, and highly available datastore 阅读笔记简介所有 server 都在一个 data center，Network Partition 比较罕见，所以选择 CA 模型按 key 分区（shard），每一个 key range 有3个副本，放到3个 server 上提供 k...

2019-04-22 10:07:44 538

原创 mit6.824 Lab2: Raft

项目地址：https://github.com/rsy56640/Distributed_System_Learning/tree/master/MIT6.824/1st_learningLab 2A: Raft leader election代码可以在 commit 记录中找到说实话体验不是很好，我看网上很多人到 lab2就不做了，之前以为是有难度，但其实不然。主要问题在于，它给了 c...

2019-04-18 23:26:19 1401

原创 Raft 论文阅读笔记

In Search of an Understandable Consensus Algorithm (Extended Version) 阅读笔记Replicated State Machinereplicate log 来达成确定性状态机共识算法需要保证 replicated log 一致性。Paxos的问题难以理解，难以实现。Paxos 让每个 instance 独立，所以还需...

2019-04-08 23:51:55 707

原创最近在做的3件事

我发现一下子想学很多东西是不现实的。。于是就把精力放在几件事上了。最近主要干3件事：mit6.824学习记录：https://github.com/rsy56640/Distributed_System_Learning/tree/master/MIT6.824/1st_learning论文阅读：https://github.com/rsy56640/paper-reading/tre...

2019-04-08 23:13:58 310

原创 mit6.824 第一次学习笔记（持续更新）

第一次过mit6.824，功利性比较强，有些拓展阅读之后再补。。。github 地址：https://github.com/rsy56640/Distributed_System_Learning/tree/master/MIT6.824/1st_learning持续更新...

2019-03-28 14:35:49 2795

原创 The design of a practical system for fault-tolerant virtual machines 阅读笔记

The design of a practical system for fault-tolerant virtual machines 阅读笔记介绍容错思路是 primary / backup，那么就保证两者尽可能同步就好，但是同步内存和IO等操作消耗巨大，所以转变思路：假设 primary / backup 初始状态相同，那么只需要同步状态迁移操作即可。（为了达成这么nice的prope...

2019-03-28 12:02:38 802

原创 The Google File System 论文阅读笔记

首发于：https://github.com/rsy56640/paper-reading/tree/master/分布式/GFSThe Google File System 论文阅读笔记这篇看得我非常难受，很多 trade-off 我一个学生根本无法体会，也就跟着意思意思罢了。补：没代码也没具体算法，，说个鬼。。。我个人还是喜欢比较偏数学的算法一点。。。背景机器廉价，failu...

2019-03-25 19:44:07 383

原创 mit6.824 Lab1

github 地址：https://github.com/rsy56640/Distributed_System_Learning/tree/master/MIT6.824/1st_learning/6.824/src不难，但是对windows很不友好，，完全不能测试，还得搬到腾讯服务器上面，累成狗。。。有几个坑，记录一下命令行参数 “*” 在windows上没用Go还不熟练，容器的ca...

2019-03-21 11:28:33 547

原创 MapReduce 论文阅读笔记

首发于 https://github.com/rsy56640/paper-reading/tree/master/分布式/MapReduceMapReduce: Simplified Data Processing on Large Clusters 论文阅读笔记Map: (k1, v1) -> list(k2, v2)Shuffle: list(k2, v2) -> (k...

2019-03-21 11:25:41 639 1

原创 Effective Modern Cpp 学习笔记

大二的时候看这本书还是很晦涩。。。一年过去了，我看过的文章和帖子应该都有上千了，现在过一遍这本书表示纪念。分段不定期更新

2019-03-20 15:50:19 285

原创 CCF 201712-5-商路 30分。。。枯了

我的思路按照拓扑排序DP用S[i]表示 i 的最大价值，那么有S[i]=maxi→j{S[j]+v[i]−(f[i]−dij)2} S[i] = max_{i\to j} \{ S[j] + v[i] - (f[i] - d_{ij})^2 \} S[i]=maxi→j{S[j]+v[i]−(f[i]−dij)2}中间做了一点优化，貌似是拖慢了时间。但其实有多种优化思路，...

2019-03-16 21:38:14 471

原创无旋Treap 模板

同时是BST和最小堆支持插入，删除，查找，第K大，前驱查找，后继查找，元素排名#include &amp;lt;iostream&amp;gt;#include &amp;lt;cstdio&amp;gt;#include &amp;lt;cstdlib&amp;gt;using namespace std;#define maxn (10000 + 5)inline int

2019-03-15 14:30:46 152

原创 POJ 1442 Black Box - (无旋Treap)

题目链接：http://poj.org/problem?id=1442无旋treap挺好用，参考：https://www.bilibili.com/video/av46204315/?p=2#include &amp;amp;lt;iostream&amp;amp;gt;#include &amp;amp;lt;queue&amp;amp;gt;#include &amp;amp;lt;stdlib.h&

2019-03-15 12:13:10 142

原创我之前关于 context switch 的一些错误认知

之前一直对esp的维护有疑惑，感觉内核很难去做。前几天偶然了解到了，今天记录一下。x86下的保存现场：https://elixir.bootlin.com/linux/v2.6.39.4/source/arch/x86/kernel/entry_32.S#L194.macro SAVE_ALL cld PUSH_GS pushl_cfi %fs /*CFI_REL_OFFSET fs...

2019-03-08 14:22:09 279

原创整理一下心情

前一段时间（过年）学点数学，结果学到自闭了。所以整理一下状态。目前进入了第二次迷茫。第一次迷茫是刚入学那年，没人带，前面一片虚无不知道怎么走，然后慢慢地，不断地翻资料和各种论坛，加上自己摸索，终于把面前的一些路线大致理清了。现在第二次迷茫是因为根据探索出来的这些道路来看，，短时间内无法达到那种能拿得出手的水平，而且主要现在各个方面都进入了瓶颈，要想再往前一步就得费很大的劲（稍微钻研一点可能收藏...

2019-02-26 19:00:40 454 1

空空如也

空空如也