自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

Zuoerfeng

愿做破土而出的蚂蚁,奔向蓝天。

原创 开篇博客

引言 之前一直想写博客,没有什么时间,现在找完工作了,有了一段稍微空闲的时期,想着把自己之前的一些学习笔记和心得以博客的形式撰写出来,写博客的途中也可以回顾一下。 博客主要是把自己之前有道云的笔记进行转录。 PS:笔记中很多资料借鉴了网上的博客资料,本来打算附上原链接的,但是太多了难以找到,借鉴资...

2018-11-07 20:00:46 144 2

原创 分布式消息队列RabbitMQ

这篇文章简单讲述下分布式消息队列的基础知识,不会太深入,因为类似MQ这样的分布式组件有很多不同的种类,都有各自的特征和其对应的应用场景,需要在实际应用中才能更加深入的理解。 整篇文章按照,分布式消息队列基础知识->AMQP协议->RabbitMQ实例来概述。 1、分布式消息队列基础知识...

2019-05-29 16:00:22 563 0

转载 Zookeeper系列学习

ZooKeeper是一个分布式的,开放源码的分布式应用程序协调服务。ZooKeeper的目标就是封装好复杂易出错的关键服务,将简单易用的接口和性能高效、功能稳定的系统提供给用户。本专栏主要从Zookeeper技术内幕和原理的角度深入Zookeeper内核。 这里转载了一个csdn上zk的专题,博主...

2019-05-28 20:24:18 66 0

原创 Paxos的实际应用

上一篇说明了paxos算法是如何实现数据一致性的,这一节我们来说明常见paxos的具体实际应用,这样可以更好的理解paxos的具体实现。 1、Paxos应用一Chubby 原理介绍 Chubby是google提出的分布式锁服务,GFS和Big table等大型系统都可以用它来解决分布式写作、元数据...

2019-05-28 20:13:10 683 0

转载 分布式系统领域经典论文翻译集

文/phylips@bmy  分布式领域论文译序 sql&nosql年代记 SMAQ:海量数据的存储计算和查询 一.google论文系列 1.      google系列论文译序 2.   &nbs...

2019-05-13 14:11:21 166 0

原创 Paxos算法总结

上一篇讲述了两个经典的分布式一致性协议(2PC、3PC),这篇博客开始讲解paxos协议,paxos算法是目前公认的解决分布式一致性问题最有效的算法之一。 1、起源 拜占庭将军问题 提及paxos协议的起源,首先得说说这个“拜占庭将军”问题,这个问题实际上是分布式数据一致性问题的一个抽象故事。 ...

2019-05-10 22:01:07 691 0

原创 经典一致性协议总结

上篇上述了分布式系统的一些经典理论,即在设计分布式系统时候应该考虑的问题,那么本篇主要讲述分布式系统中数据的一致性,即数据在不同节点中如何保证一致性的问题。 经典一致性协议,主要分为以下三个: 二阶段提交协议——2PC 三阶段提交协议——3PC paxos算法 下面就这三个协议做具体的分析与总...

2019-05-09 21:59:14 425 1

原创 分布式相关理论总结

1、集中式与分布式 集中式:80年代主流,IBM大型机,价格昂贵,性能卓越,部署简单,但是单机扩容较为困难。 分布式:由多个普通pc机组成,分布在不同的网络上,通过消息传递进行通信和协调的系统 分布式系统五gu大特点: 分布性:多台计算机在空间上随意分布,机器分布也随时变动 对等性:所有计算机节点...

2019-05-09 20:53:19 99 0

原创 2018 存储技术热点与趋势总结

知乎上的一篇技术博客,干货可多,有时间在细看,先记录下来。 链接:2018 存储技术热点与趋势总结

2019-03-08 21:25:51 192 0

转载 Linux IO barrier

转载博客:https://blog.csdn.net/younger_china/article/details/51138375 I/O顺序问题是一个比较综合的问题,它涉及的层次比较多,从VFS page cache到I/O调度算法,从IO子系统到存储外设。而Linux I/O barrier就...

2019-03-08 21:23:31 91 0

转载 块设备层request plug/unplug机制

转载至博客:http://blog.chinaunix.net/xmlrpc.php?r=blog/article&uid=14528823&id=4778396 一、基本原理 Linux块设备层使用了plug/unplug(蓄流/泄流)的机制来提升IO吞吐量。基本...

2019-03-08 21:21:04 141 0

原创 文件系统学习8——文件系统MQ队列机制详解

上一篇已经讲述了MQ多队列的机制,利用cpu的多核,配上多队列机制,并发的处理IO请求,提高效率。 本篇详细讲述下从bio下发到IO调度器中,MQ队列机制是如何一步步完成的。 1、MQ处理结构流图 从整个流程图可以看到,主要是分为三个部分:初始化硬件设备的target参数、初始化请求队列requ...

2019-03-08 21:16:53 817 0

原创 文件系统学习7——文件系统队列机制概述

前面几小节讲述linux文件系统是如何操作IO流的,本小节讲述文件系统的队列机制,主要集中在IO调度器这一层的队列调度上。 1、队列机制 linux中的队列机制主要发生在IO调度器这一层,首先给出IO调度器在整个IO栈的位置,如下图所示。它位于bio块层之下,硬件驱动层之上。pagecache刷新...

2019-03-03 20:39:21 258 0

原创 文件系统学习6——文件系统IO子系统的补充

在第5小节详细讲述了文件系统IO子系统的相关特性,在阅读完第5小节的文章后,本小节给出自己的一些疑惑,并对上述的疑惑进行补充说明。 疑惑1:pagecache、buffer和bufferhead的区别与联系 说明: 首先需要明确的是linux系统中文件系统的缓冲区主要分为两个page cache和...

2019-03-02 16:38:51 93 0

转载 文件系统学习5——文件系统IO子系统

关于文件系统IO子系统的介绍,有一篇非常好的博客,详细了从上到下,由浅入深的讲述了IO子系统。这里给出原文的链接,方便大家共同学习。 [IO系统]01 IO子系统 [IO系统]02 用户态的文件IO操作 [IO系统]03 虚拟文件系统(VFS) [IO系统]04 节点路径搜索 [IO系统]05 o...

2019-03-02 16:10:38 149 0

原创 文件系统学习4——日志文件系统的由来

1、日志文件系统的由来 之前讲述的都是文件系统的基本功能,但是一直都集中在数据如何存放获取的过程上,那么文件系统对于数据的一致性又是如何保证的呢?? 同样,我们从一个文件的新建开始说起,类似第三小节,一个文件的新建步骤如下: 先确定用户对于欲新增文件的目录是否具有 w 与 x 的权限,若有的话才...

2019-03-01 20:38:19 438 0

原创 文件系统学习3——文件系统相关操作流程

前文中讲到了文件系统有哪几类操作,这里对没类操作文件系统是如何寻址,如果读写的进行一个详细的说明。 1、目录树的读取 所有对文件的操作,给用户看来第一步就是得知道这个文件的目录,所以首先就需要读取目录。 每个目录都是一个文件,该文件存放该目录下所有文件的相关信息,同样该文件也有对应的innode。...

2019-03-01 20:06:48 206 0

原创 文件系统学习2——文件系统的布局

说道文件系统的布局,就需要先从磁盘的逻辑结构说起。 1、磁盘的逻辑结构 这里说的磁盘逻辑结构不是指磁盘的物理结构,诸如磁道、磁臂和旋转这一类,这里的逻辑结构是指,磁盘给了一段物理空间,那么用户总要对这个物理空间进行划分,即所谓的逻辑空间,那么一块磁盘在逻辑空间上布局如下图所示: 从图上我们可以总...

2019-02-28 21:04:02 333 0

原创 文件系统学习1——文件系统基本概念

2019.2.27 最近准备学习一下文件系统的基本知识,学习路线如下: 文件系统基本概念->文件系统磁盘布局->文件系统IO系统->MQ队列机制-&gt...

2019-02-28 20:10:58 750 0

转载 计算机系统领域顶级会议--OSDI,SOSP

转载:原文链接: 计算机系统领域顶级会议–OSDI,SOSP 【序言】 按照USnews的分类,Computer Science被分为四个大类:AI, Programming Language, Systems, Theory.。毫无疑问,Systems是这四个大类中最要紧也是最大的一个。根据ci...

2019-01-04 15:34:56 1973 0

转载 SSD进阶分享

这里主要分享ssdfans上关于SSD内部常见FTL算法,接口协议等专栏,之前在有道云笔记中记录下来的,现分享如下: (1)FTL分析系列:http://note.youdao.com/noteshare?id=091e7455b7885cfd4a70f539ecec7c8b (2)NVMe分析系...

2018-12-18 13:37:08 159 0

转载 SSD历史发展

转载自ssdfans 2016.8.27 其实SSD的奋斗史也是如此的曲折,命运几乎和中国女排是同步的,很早就出道了,但是90年代末机械硬盘异军突起,SSD被人遗忘。到了21世纪,SSD才慢慢恢复元气,利用NAND Flash王者归来。今天我们来回顾一下SSD的发展史,相比以前的老文章,也补全了最...

2018-12-18 13:29:31 992 0

原创 SSD内部详解

1、ssd的基本架构 直接上图,给出一个简单SSD的内部基本架构 从这个图中可以看到FTL层主要是三个功能:地址映射表、损耗均衡、垃圾回收 地址映射表:顾名思义,把文件系统的逻辑地址,映射到flash的物理地址上。 损耗均衡:进行损耗的调度,让所有快的差不多一起写坏,而不是其中某一块很快写坏,...

2018-12-18 13:19:48 903 1

转载 SSD介绍

转载自ssdfans SSD概述 SSD这个行业和产品我相信大家并不陌生,发展到今天可以说是格局已定,取代HDD是大势所趋。产品的应用经历了推销质疑到现在全面普及以及替代HDD的时代,剩下的全面取代HDD,只是时间的问题。 SSD的优点 速度快:毫无疑问,SSD在速度上可以秒杀HDD,无论在用户...

2018-12-18 13:06:29 561 0

原创 闪存flash读写原理

首先讲述的是基本原理,因为前面总结了很多基本原理,所以这个位置比较粗略的带过。 1、基本原理 从图上可以看出,Vt为开启电压,对于N沟道的cmos,当门极加的电压逐渐变大的时候,多数载流子被门极所吸引,向上移动,形成N型沟道,N型半导体即被导通,有导通电流。开始有导通电流的门极所加的电压我们称为...

2018-12-17 21:28:01 3153 1

原创 闪存flash进阶知识

这一章关于闪存主要是SLC, MLC, TLC, 3D flash的比较,主要点如下: 1、FLASH的写步骤ISPP 2、在写数据之前要进行随机化编码 3、slc、mlc、tlc性能的比较 4、一个具体的flash读写的体系结构 5、目前定义的flash的IO接口规范 6、ssd里面并行性的体...

2018-12-17 21:20:31 1119 0

转载 闪存flash基础原理

转载自ssdfans 1、闪存基本介绍 Flash存储是存储界的新人和红人。Flash存储系统由于其优异的性能、高效的存储密度和出色的节能特性使得Flash存储有望替代机械磁盘成为企业级存储的核心。未来很有可能所有的数据都会存储在Flash存储介质上面,包括银行、中小企业、互联网、电信等存储大户。...

2018-12-17 21:04:57 3597 0

原创 C++中RAII机制的介绍与简单实例

今天看陈硕的多线程书上提到了C++中RAII技术的使用,通过用C11里面自带的智能指针来完成对资源的控制,但是一直不太清楚具体RAII是怎么样的,带着这样的疑问,特地去看了几篇博客,找了一个简单的文件句柄打开关闭RAII管理的实例,瞬间就明白了,这里分享出来。主要从两个部分,首先是RAII技术的介...

2018-12-12 22:11:48 139 0

转载 谦卑的程序员(The Humble Programmer) by E.W.Dijkstra,1972

今天看陈硕多线程书的时候看到里面提到了这篇演讲,去找了下,发现还不错,想着还是转载过来,转载文章来自于:谦卑的程序员(The Humble Programmer) by E.W.Dijkstra,1972 谦逊的长者——Edsger Wy...

2018-12-12 21:33:28 208 0

原创 Linux shell脚本编程

linux shell脚本编程这部分是在之前学习的,这里分享一下当时的学习笔记。 笔记链接:http://note.youdao.com/noteshare?id=7ef28de42cda39d761c93f6802f22a1a

2018-12-12 14:07:10 68 0

原创 Linux 知识介绍(鸟哥)

linux相关基础的知识介绍,主要是鸟哥私房菜的这本书。 链接如下:http://note.youdao.com/noteshare?id=ae49a371603311e6b2a202eea5e42078

2018-12-12 14:05:57 101 0

原创 Linux 环境下C编程基础

这部分是之前学习的在linux环境下c语言编程的一些学习笔记,这里从有道笔记下分享出来。 分享链接如下:http://note.youdao.com/noteshare?id=b12f196455078da0023accadbef162a0 ...

2018-12-12 14:04:43 203 0

原创 Linux设备驱动开发学习笔记

2016.6.25 这部门主要是之前学习linux设备驱动开发时候的一些笔记,主要学习的参考书是《Linux设备驱动开发详解第2版》 书链接:http://note.youdao.com/noteshare?id=bbf134da309035b2093c5abcd5c7c8ac&s...

2018-12-12 14:03:09 63 0

原创 《机器学习实战4》

2017.3.7 第四章《朴素贝叶斯分类器》 思维导图 1:简单概念描述 概念比较简单,这里我摘抄自百度百科,很容易理解。 朴素贝叶斯模型(NaiveBayesian classification)): Vmap=arg max P( Vj | a1,a2...an) Vj属于V集合 其中Vma...

2018-12-11 15:26:37 66 0

原创 《机器学习实战3》

2017.3.6 第三章《决策树的构造》 思维导图: 1、基本算法原理 理解数据集中蕴含的知识信息,根据特征进行划分,形成一定的规则,最终形成规则树,按照这个规则树即可以将数据分类出来。 优点:计算复杂度不高,输出结果易于理解,对中间值的缺失不敏感,可以处理不相关特 征数据。 缺点:可能会产生过...

2018-12-11 14:11:54 60 0

原创 《机器学习实战2》

2017.2.28 第二章《k-近邻算法》 思维导图: 1、基本算法原理 简单地说,k近邻算法采用测量不同特征值之间的距离方法进行分类。 优点:精度高、对异常值不敏感、无数据输入假定。 缺点:计算复杂度高、空间复杂度高。 适用数据范围:数值型和标称型。 工作原理:存在一个样本数据集合,也称作训练...

2018-12-11 14:02:20 131 0

原创 《机器学习实战1》

2017.2.27 第一章 《机器学习基础》 思维导图 1、关键术语的解释 特征:测量所有可测属性,而后再挑选出重要部分,也可以称作属性 分类:机器学习的主要任务就是分类,即根据目标变量对特征进行分类 训练集:通常我们为算法输人大量已分类数据作为算法的训练集。训练集是用于训练机器学习算法的数据...

2018-12-11 13:45:08 134 0

原创 linux内核移植步骤

2016.6.8 经过一个多星期的内核折磨,今天终于可以写下自己移植内核的一些心得,网上有很多博客论坛都有谈到,但是这些又说的方式有些模糊,这里我综合的几个博客在重新说下内核替换编译的步骤、以及如何更新启动项grub。替换linux的内核一共有两种方式,第一种方式是下载官方kernel提供的源码包...

2018-12-11 13:17:45 6664 3

转载 SVN使用小结

Windows上搭建SVN 1、搭建SVN版本控制系统 SVN是一种集中式管理代码的版本控制系统,原理是:将代码都保存到一个固定的位置,每次从这个位置拷贝更新代码,进行编辑;再把修改后的代码提交到该目录中。 因此需要一个类似MySQL的服务器用于保存和管理库文件的服务端——VisualSVN Se...

2018-12-11 12:26:10 48 0

原创 git的使用小结

2017 .11.24 首先,A得有一个github上的账户,如没有请先注册申请,然后安装git操作工具,如下面图中所示 1. 登陆你的github,然后找到A要参与的项目P,点进项目中你会看见 watch,star,fork,那么这分别是什么意思呢? (1)想拷贝别人项目到自己帐号下就fork...

2018-12-11 12:19:40 71 0

提示
确定要删除当前文章?
取消 删除