- 博客(17)
- 收藏
- 关注
RSS订阅原创 链式复制简介
链式复制（Chain replication） 是一种 提供高吞吐 和 高可用的分布式算法， 基于主从架构（ primary/backup），并对传统主从架构有加强 主从基本思想 主节点 给所有client请求来的操作排序 把操作分发给从节点 主节点要等所有从节点响应后，再响应client 主节点可以直接响应read 如果主节点failure了 会选举一个从节点来做新主节点 ..
2022-04-02 17:07:48
493
原创 zookeeper简介
为什么要讲zookeeper高性能提供异步的接口并没提供完全的读写线性一致性，可以在副本读，从而在读写比高的场景中提高性能用途广泛ZooKeeper 作为一个分布式的协调服务框架，主要用来解决分布式集群中，应用系统需要面对的各种通用的一致性问题像是一个“瑞士军刀”，它提供了很多基本的操作，能实现什么样的功能更多取决于使用者如何来使用它。Performance关于写zk也是基于replicated state machine的，所有写操作要经过zk的leader
2022-01-02 12:47:11
895
原创 《10X程序员工作法》阅读笔记
分享一些能拿来即用，对工作有帮助的方法DOD人与人协作，总会有这样或那样的理解差异，开始协作之前，我们要先同步一下彼此的理解，确保之后不会因为理解不一致。弥合差异的方式有很多，有一个比较好的实践，它的名字叫 DoD（Definition of Done，完成的定义）完成的定义DoD 这个概念本身并不复杂，它就是告诉我们怎样算是完成了，尽量减少因为理解偏差造成的各种浪费具体怎么做呢？就是团队在开始工作前，先制定 DoD例子：一个功能的开发完成，表示开发人员经过了需求澄清、功能设计、编写代码、单元测
2021-10-31 19:11:18
403
原创 2021-08-08
一致性算法为什么需要一致性算法分布式存储系统通常通过维护多个副本来提高系统的可用性和性能，要实现此目标，就必须维护多个副本的一致性如何实现一致性算法一致性协议通常基于Replicated state machines，即所有结点都从同一个state出发，都经过同样的一些操作序列（log），最后到达同样的stateReplicated state machines【图1， 论文中的一致性状态机】复制状态机通常都是基于复制日志实现的，如图 1。每一个服务器存储一个包含一系列指令的日志，
2021-08-08 20:29:20
87
原创 epoll有没有用mmap?
有说用了的 https://time.geekbang.org/column/article/100861也有说没用的 https://time.geekbang.org/column/article/77990但是我看那本《Linux/unix系统编程手册》上没有说什么内存共享的问腿，而是这么说：“调用select 和 poll时，要传递一个标记了所有监视文件描述符的数据结构给内核，调用返回时，内核再将所有标记为就绪态的文件描述符的数据结构传回来 ” “epoll通过epoll_ctl ..
2020-09-02 21:36:41
1680
原创 DDIA 第4章 数据存储与检索
文章目录存储引擎的分类日志结构的索引哈希索引分段查找过程特点SSTables 与 LSM-TreeSSTablesMemTableImmutable MemTable性能面向页的存储引擎b-tree对比B-tree 和 LSM-Tree数据仓库存储引擎的分类日志结构的存储引擎面向页的存储引擎日志结构的索引哈希索引索引保存在hash map，索引的value时文件偏移量分段为什么要分段？因为是追加式的记录，为避免用尽磁盘空间，可以把日志分成一定大小的段，当文件大小达到阈值时，写下
2020-07-29 21:42:43
215
原创 关于幻读
一些资料对幻读的定义ANSI SQL隔离级别中，可重复读的隔离级别不能解决幻读《高性能Mysql》所谓幻读，指的是当某个事务读取某个范围内的记录时，另一个事务又在该范围内插入了新的记录，当之前的事务再次读取该范围的记录时，会产生幻行innodb 通过MVCC解决了幻读的问题《DDIA》一个事务中的写入改变了另一个事务查询结果的现象，称为幻读。快照级别隔离可以避免只读查询时的幻读，但是对于那些读-写事务，它却无法解决棘手的写倾斜问题。幻读事务读取了某些符合查询条件的对象，同时另一
2020-07-28 22:06:03
368
2
原创 leetcode-83删除链表中重复节点
链表类型的题目，要注意滴地方:需要维护几个指针这几个指针之间有什么关系，它们转换的顺序是什么这两个链表去重的题目相似，区别是：题1要留下1个重复的节点题2不留重复节点即，对原链表为[1, 2, 3, 3, 4, 4, 5],题1要求返回[1, 2, 3, 4, 5]， 题2要求返回[1, 2, 5]# Definition for singly-linked list.# class ListNode:# def __init__(self, x):# s
2020-07-26 13:21:01
147
原创 CAP的总结
关于cap，我就觉得不用纠结的太细节，如同《DDIA》中所述：它提供的是一个选择，即：“在网络分区的情况下，是选择一致性还是可用性”。因为网络分区是一种故障，不管你是否喜欢，它都是会发生的。类似传输数据时，是选择同步还是异步的方式cap分别是指什么C： DDIA中，说是线性一致性A：非故障的节点在合理的时间内返回合理的响应（不是错误和超时的响应）P：当出现网络分区后，系统能够继续“履行职责”概述例子业务选择ca需要非常严格的全体一致的协议，不能容忍网络错误或节点错.
2020-05-23 19:08:29
241
原创 MySQL45讲--08 事务隔离
事务的启动begin/start transaction 命令并不是一个事务的起点，在执行到它们之后的第一个操作 InnoDB 表的语句，事务才真正启动一致性视图Mysql中另一个“视图”的概念consistent read view，一致性视图。用于支持 RC（Read Committed，读提交）和 RR（Repeatable Read，可重复读）RC时，每一个语句执行前都会重新...
2020-05-01 19:44:55
135
原创 DDIA 第7章 事务
DDIA 第7章 事务文章目录ACID解析隔离级别读提交可重复读串行化实际串行执行两阶段加锁可串行化的快照隔离补充防止更新丢失写倾斜和幻读ACID解析A 原子性–即 可中止性C 一致性–由应用层维护，保证业务逻辑的恒等性I 隔离性–用于保证多个事务并发执行的时候，其结果和串行执行一样D 持久性–即，能持久保存主要关注的是，隔离性隔离级别读提交能防止 脏读、脏写读到的数...
2020-04-19 20:52:28
354
原创 快速排序--leetcode215. Kth Largest Element in an Array
普通快排的两种写法体现在partition中判断左右指针是否越界private int partition(T[] nums, int l, int h) { int i = l, j = h + 1; T v = nums[l]; while (true) { while (less(nums[++i], v) && i != h) ;...
2018-09-28 20:38:22
181
原创 python异步IO
IO模型阻塞式 I/O非阻塞式 I/OI/O 复用信号驱动 I/O异步 I/O同步 I/O 与异步 I/O为什么没有异步I/O模型的函数？python异步编程tipspython的socket模块python的selectors模块IO模型一个输入操作通常包括两个阶段：等待数据准备好从内核向进程复制数据对于一个套接字上的输入操作，...
2018-08-23 16:10:28
408
原创 python -m 方式启动脚本
模块方式启动：python -m [file_name] 以模块方式启动.【file_name后面没有.py,不然会报错】直接启动：python [file_name].py两个方式的不同：1. sys.path的不同（主要）：模块方式启动时的sys.path是：默认的+命令行所在目录的路径；而直接启动的path：默认的+py文件所在的path例子： 在此目录下pa...
2018-08-08 17:10:11
391
原创 Python多线程，协程，异步
问题tmp基础tips线程协程用作协程的生成器的基本行为stopiteration生成器的throw方法生成器的close方法GeneratorExityield from别人的总结asyncio普通的方式创建task绑定回调多任务协程问题怎么引发stopiteration异常？ —-》在生成器中用return;或在生成器...
2018-08-05 13:17:00
302
原创 《Python机器学习预测分析核心算法》上
全书讲了惩罚线性回归，集成方法，这两种算法。 第一章--简要介绍了这两类算法惩罚性线性回归惩罚线性回归可以减少自由度使之与数据规模，问题复杂度相匹配。（这里的自由度就是维度吧） 对于大自由度问题：基因问题，文本分类问题。有优势 训练速度快，用在特征工程阶段集成方法基本思想是构建多个模型，以某种方式组合，再将其输出。某些算法输出结果不稳定，在现有数据集上增加新的数据...
2018-03-16 15:46:59
1056
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人