Zuoerfeng

这篇文章简单讲述下分布式消息队列的基础知识，不会太深入，因为类似MQ这样的分布式组件有很多不同的种类，都有各自的特征和其对应的应用场景，需要在实际应用中才能更加深入的理解。整篇文章按照，分布式消息队列基础知识->AMQP协议->RabbitMQ实例来概述。1、分布式消息队列基础知识消息要想弄清楚分布式消息队列的具体意义，首先得从什么是消息入手。消息即是信息的载体。为了让消息发...

ZooKeeper是一个分布式的，开放源码的分布式应用程序协调服务。ZooKeeper的目标就是封装好复杂易出错的关键服务，将简单易用的接口和性能高效、功能稳定的系统提供给用户。本专栏主要从Zookeeper技术内幕和原理的角度深入Zookeeper内核。这里转载了一个csdn上zk的专题，博主讲述的非常清楚，zk的概念，zk的实现api及其应用场景。这里给出其每个单元链接：Zookeepe...

上一篇说明了paxos算法是如何实现数据一致性的，这一节我们来说明常见paxos的具体实际应用，这样可以更好的理解paxos的具体实现。1、Paxos应用一Chubby原理介绍Chubby是google提出的分布式锁服务，GFS和Big table等大型系统都可以用它来解决分布式写作、元数据存储和master选举等一些列功能。Chubby强大的锁功能，底层则是通过paxos分布式锁来实现的。...

文/phylips@bmy 分布式领域论文译序sql&nosql年代记SMAQ：海量数据的存储计算和查询一．google论文系列1.      google系列论文译序2.      The anatomy of a large-scale hypertextual...

上一篇讲述了两个经典的分布式一致性协议（2PC、3PC），这篇博客开始讲解paxos协议，paxos算法是目前公认的解决分布式一致性问题最有效的算法之一。1、起源拜占庭将军问题提及paxos协议的起源，首先得说说这个“拜占庭将军”问题，这个问题实际上是分布式数据一致性问题的一个抽象故事。故事中的通讯员就是所谓的通信信道，拜占庭故事的结局就是在这种情况下将军之间不可能接收到一个完全正确的决...

上篇上述了分布式系统的一些经典理论，即在设计分布式系统时候应该考虑的问题，那么本篇主要讲述分布式系统中数据的一致性，即数据在不同节点中如何保证一致性的问题。经典一致性协议，主要分为以下三个：二阶段提交协议——2PC三阶段提交协议——3PCpaxos算法下面就这三个协议做具体的分析与总结。1、二阶段提交协议——2PC分布式系统中同样有数据库中的事务的概念，当不同的节点处理一个事物操...

1、集中式与分布式集中式：80年代主流，IBM大型机，价格昂贵，性能卓越，部署简单，但是单机扩容较为困难。分布式：由多个普通pc机组成，分布在不同的网络上，通过消息传递进行通信和协调的系统分布式系统五gu大特点：分布性：多台计算机在空间上随意分布，机器分布也随时变动对等性：所有计算机节点都是对等的，没有主从之分并发性：多个节点可能并发的操作访问一些共享资源缺乏全局时钟：难以定义并发事...

知乎上的一篇技术博客，干货可多，有时间在细看，先记录下来。链接：2018 存储技术热点与趋势总结

转载博客：https://blog.csdn.net/younger_china/article/details/51138375I/O顺序问题是一个比较综合的问题，它涉及的层次比较多，从VFS page cache到I/O调度算法，从IO子系统到存储外设。而Linux I/O barrier就是其中重要的一部分。可能很多人认为，在做了文件写操作后，调用fsycn就能保证数据可靠地写入磁盘。大...

转载至博客：http://blog.chinaunix.net/xmlrpc.php?r=blog/article&uid=14528823&id=4778396一、基本原理Linux块设备层使用了plug/unplug(蓄流/泄流)的机制来提升IO吞吐量。基本原理为：当IO请求提交时，不知直接提交给底层驱动，而是先将其放入一个队列中(相当于水池)，待一定时机或周期后再将该队列...

上一篇已经讲述了MQ多队列的机制，利用cpu的多核，配上多队列机制，并发的处理IO请求，提高效率。本篇详细讲述下从bio下发到IO调度器中，MQ队列机制是如何一步步完成的。1、MQ处理结构流图从整个流程图可以看到，主要是分为三个部分：初始化硬件设备的target参数、初始化请求队列request_queue以及bio请求的处理过程。前面两个过程主要是完成底层存储设备向文件系统的注册，同时完...

前面几小节讲述linux文件系统是如何操作IO流的，本小节讲述文件系统的队列机制，主要集中在IO调度器这一层的队列调度上。1、队列机制linux中的队列机制主要发生在IO调度器这一层，首先给出IO调度器在整个IO栈的位置，如下图所示。它位于bio块层之下，硬件驱动层之上。pagecache刷新下来的数据会合成对应的bio，同一个任务的多个bio会下发到块层，进行IO调度。在早期的linux...

在第5小节详细讲述了文件系统IO子系统的相关特性，在阅读完第5小节的文章后，本小节给出自己的一些疑惑，并对上述的疑惑进行补充说明。疑惑1：pagecache、buffer和bufferhead的区别与联系说明：首先需要明确的是linux系统中文件系统的缓冲区主要分为两个page cache和buffer cache，每一个 page cache 包含若干 buffer cache。与pag...

关于文件系统IO子系统的介绍，有一篇非常好的博客，详细了从上到下，由浅入深的讲述了IO子系统。这里给出原文的链接，方便大家共同学习。[IO系统]01 IO子系统[IO系统]02 用户态的文件IO操作[IO系统]03 虚拟文件系统(VFS)[IO系统]04 节点路径搜索[IO系统]05 open流程分析[IO系统]06 因OPEN建立的结构体关系[IO系统]07 IO写流程分析[IO...

1、日志文件系统的由来之前讲述的都是文件系统的基本功能，但是一直都集中在数据如何存放获取的过程上，那么文件系统对于数据的一致性又是如何保证的呢？？同样，我们从一个文件的新建开始说起，类似第三小节，一个文件的新建步骤如下：先确定用户对于欲新增文件的目录是否具有 w 与 x 的权限，若有的话才能新增；根据 inode bitmap 找到没有使用的 inode 号码，并将新文件的权限/属性写入...

前文中讲到了文件系统有哪几类操作，这里对没类操作文件系统是如何寻址，如果读写的进行一个详细的说明。1、目录树的读取所有对文件的操作，给用户看来第一步就是得知道这个文件的目录，所以首先就需要读取目录。每个目录都是一个文件，该文件存放该目录下所有文件的相关信息，同样该文件也有对应的innode。简答步骤：由于目录树是由根目录开始读起，因此系统透过挂载的信息可以找到挂载点的 inode 号此时就...

说道文件系统的布局，就需要先从磁盘的逻辑结构说起。1、磁盘的逻辑结构这里说的磁盘逻辑结构不是指磁盘的物理结构，诸如磁道、磁臂和旋转这一类，这里的逻辑结构是指，磁盘给了一段物理空间，那么用户总要对这个物理空间进行划分，即所谓的逻辑空间，那么一块磁盘在逻辑空间上布局如下图所示：从图上我们可以总结出，一块磁盘的开始区域是主引导记录又称为MBR表，它由三个部分组成：硬盘主引导程序(BootLoad...

2019.2.27最近准备学习一下文件系统的基本知识，学习路线如下：文件系统基本概念->文件系统磁盘布局->文件系统IO系统->MQ队列机制->IO管控。下面开始简单介绍一下文件系统的一些基本概念，大部分来自于书籍和一些博客上的内容，相关链接如下：Ext4专题文章索引linux文件系统详解鸟哥 Linux 磁盘与文件系统管理Linux 的虚拟文

转载：原文链接: 计算机系统领域顶级会议–OSDI，SOSP【序言】按照USnews的分类，Computer Science被分为四个大类：AI, Programming Language, Systems, Theory.。毫无疑问，Systems是这四个大类中最要紧也是最大的一个。根据citeseer在2003年5月排出的所有计算机学科会议和期刊的影响因子排名[1]，在前十位中的属于Sys...

这里主要分享ssdfans上关于SSD内部常见FTL算法，接口协议等专栏，之前在有道云笔记中记录下来的，现分享如下：（1）FTL分析系列：http://note.youdao.com/noteshare?id=091e7455b7885cfd4a70f539ecec7c8b（2）NVMe分析系列：http://note.youdao.com/noteshare?id=6468f17af9e07...

转载自ssdfans2016.8.27其实SSD的奋斗史也是如此的曲折，命运几乎和中国女排是同步的，很早就出道了，但是90年代末机械硬盘异军突起，SSD被人遗忘。到了21世纪，SSD才慢慢恢复元气，利用NAND Flash王者归来。今天我们来回顾一下SSD的发展史，相比以前的老文章，也补全了最近两年的新进展。在我们今天看来，SSD是个新鲜事物，但是从事这个行业的前辈们却已经摸爬滚打了将近38...

1、ssd的基本架构直接上图，给出一个简单SSD的内部基本架构从这个图中可以看到FTL层主要是三个功能：地址映射表、损耗均衡、垃圾回收地址映射表：顾名思义，把文件系统的逻辑地址，映射到flash的物理地址上。损耗均衡：进行损耗的调度，让所有快的差不多一起写坏，而不是其中某一块很快写坏，影响整体的性能。垃圾回收：前面说的异地更新的问题，主要完成有效页的搬移。2、FTL层的详细功能...

转载自ssdfansSSD概述SSD这个行业和产品我相信大家并不陌生，发展到今天可以说是格局已定，取代HDD是大势所趋。产品的应用经历了推销质疑到现在全面普及以及替代HDD的时代，剩下的全面取代HDD，只是时间的问题。SSD的优点速度快：毫无疑问，SSD在速度上可以秒杀HDD，无论在用户体验上，还是测试数据上。功耗低：工作功耗HDD 10W vs SSD 5w，待机SSD可到2.5mW...

首先讲述的是基本原理，因为前面总结了很多基本原理，所以这个位置比较粗略的带过。1、基本原理从图上可以看出，Vt为开启电压，对于N沟道的cmos，当门极加的电压逐渐变大的时候，多数载流子被门极所吸引，向上移动，形成N型沟道，N型半导体即被导通，有导通电流。开始有导通电流的门极所加的电压我们称为开启电压，随着开启电压的增大，电流逐渐增大。这就是cmos管的基本原理。从cmos管过渡到nand ...

这一章关于闪存主要是SLC, MLC, TLC, 3D flash的比较，主要点如下：1、FLASH的写步骤ISPP2、在写数据之前要进行随机化编码3、slc、mlc、tlc性能的比较4、一个具体的flash读写的体系结构5、目前定义的flash的IO接口规范6、ssd里面并行性的体现7、mlc为什么要采用格雷编码8、tlc的三步编程操作9、3D FLASH的相关特性下面分...

转载自ssdfans1、闪存基本介绍Flash存储是存储界的新人和红人。Flash存储系统由于其优异的性能、高效的存储密度和出色的节能特性使得Flash存储有望替代机械磁盘成为企业级存储的核心。未来很有可能所有的数据都会存储在Flash存储介质上面，包括银行、中小企业、互联网、电信等存储大户。紫外线可擦除存储器当年沉迷于电子设计的时候，没有想到一个小小的Flash居然能够做成一个新兴的存储...

今天看陈硕的多线程书上提到了C++中RAII技术的使用，通过用C11里面自带的智能指针来完成对资源的控制，但是一直不太清楚具体RAII是怎么样的，带着这样的疑问，特地去看了几篇博客，找了一个简单的文件句柄打开关闭RAII管理的实例，瞬间就明白了，这里分享出来。主要从两个部分，首先是RAII技术的介绍，然后是RAII技术的简单实例。RAII技术的介绍1、RAII定义RAII，它是“Resour...

今天看陈硕多线程书的时候看到里面提到了这篇演讲，去找了下，发现还不错，想着还是转载过来，转载文章来自于：谦卑的程序员(The Humble Programmer) by E.W.Dijkstra,1972 谦逊的长者——Edsger Wybe Dijkstra，1930年出生于荷兰阿姆斯特丹，2002年逝世于荷兰纽南。他在祖国荷兰获得数据...

linux shell脚本编程这部分是在之前学习的，这里分享一下当时的学习笔记。笔记链接：http://note.youdao.com/noteshare?id=7ef28de42cda39d761c93f6802f22a1a

linux shell脚本编程这部分是在之前学习的，这里分享一下当时的学习笔记。笔记链接：http://note.youdao.com/noteshare?id=7ef28de42cda39d761c93f6802f22a1a

linux相关基础的知识介绍，主要是鸟哥私房菜的这本书。链接如下：http://note.youdao.com/noteshare?id=ae49a371603311e6b2a202eea5e42078

这部分是之前学习的在linux环境下c语言编程的一些学习笔记，这里从有道笔记下分享出来。分享链接如下：http://note.youdao.com/noteshare?id=b12f196455078da0023accadbef162a0...

2016.6.25这部门主要是之前学习linux设备驱动开发时候的一些笔记，主要学习的参考书是《Linux设备驱动开发详解第2版》书链接：http://note.youdao.com/noteshare?id=bbf134da309035b2093c5abcd5c7c8ac&sub=DBEC06117C384BBE8A248CD71E80ABDF学习笔记链接：http://note....

2017.3.7第四章《朴素贝叶斯分类器》思维导图1：简单概念描述概念比较简单，这里我摘抄自百度百科，很容易理解。朴素贝叶斯模型(NaiveBayesian classification))：Vmap=arg max P( Vj | a1,a2...an)Vj属于V集合其中Vmap是给定一个example,得到的最可能的目标值.其中a1...an是这个example里面的属性....

2017.3.6第三章《决策树的构造》思维导图：1、基本算法原理理解数据集中蕴含的知识信息，根据特征进行划分，形成一定的规则，最终形成规则树，按照这个规则树即可以将数据分类出来。优点：计算复杂度不高，输出结果易于理解，对中间值的缺失不敏感，可以处理不相关特征数据。缺点：可能会产生过度匹配问题适用数据类型：数值型和标称型<>2、构造一颗决策树的流程：检测数据集中每一...

2017.2.28第二章《k-近邻算法》思维导图：1、基本算法原理简单地说，k近邻算法采用测量不同特征值之间的距离方法进行分类。优点：精度高、对异常值不敏感、无数据输入假定。缺点：计算复杂度高、空间复杂度高。适用数据范围：数值型和标称型。工作原理：存在一个样本数据集合，也称作训练样本集，并且样本集中每个数据都存在标签，即我们知道样本集中每一数据与所属分类的对应关系。输人没有标签的...

2017.2.27第一章 《机器学习基础》思维导图1、关键术语的解释特征：测量所有可测属性，而后再挑选出重要部分，也可以称作属性分类：机器学习的主要任务就是分类，即根据目标变量对特征进行分类训练集：通常我们为算法输人大量已分类数据作为算法的训练集。训练集是用于训练机器学习算法的数据样本集合训练样本：特征或者属性通常是训练样本集的列，它们是独立测量得到的结果，多个特征联系在一起共同...

2016.6.8经过一个多星期的内核折磨，今天终于可以写下自己移植内核的一些心得，网上有很多博客论坛都有谈到，但是这些又说的方式有些模糊，这里我综合的几个博客在重新说下内核替换编译的步骤、以及如何更新启动项grub。替换linux的内核一共有两种方式，第一种方式是下载官方kernel提供的源码包，进行编译替换；第二种直接下载内核安装包deb，进行升级替换。下面分别从这两种方式进行 一个说明：...

Windows上搭建SVN1、搭建SVN版本控制系统SVN是一种集中式管理代码的版本控制系统，原理是：将代码都保存到一个固定的位置，每次从这个位置拷贝更新代码，进行编辑；再把修改后的代码提交到该目录中。因此需要一个类似MySQL的服务器用于保存和管理库文件的服务端——VisualSVN Server，还需要一个用户的操作端，用于提交、更新和检出代码——TortoiseSVN。所以搭建SVN...

Windows上搭建SVN1、搭建SVN版本控制系统SVN是一种集中式管理代码的版本控制系统，原理是：将代码都保存到一个固定的位置，每次从这个位置拷贝更新代码，进行编辑；再把修改后的代码提交到该目录中。因此需要一个类似MySQL的服务器用于保存和管理库文件的服务端——VisualSVN Server，还需要一个用户的操作端，用于提交、更新和检出代码——TortoiseSVN。所以搭建SVN...

2017 .11.24首先，A得有一个github上的账户，如没有请先注册申请，然后安装git操作工具，如下面图中所示1. 登陆你的github，然后找到A要参与的项目P，点进项目中你会看见 watch,star,fork,那么这分别是什么意思呢？（1）想拷贝别人项目到自己帐号下就fork一下。fork 的作用是参与，目的是你增加新的内容，然后 Pull Request，把你的修改和主仓...

2017.2.27github入门，开始对代码进行管理。1、基本功能介绍Repository是放项目的地方fork copy别人的项目clone 将项目资源下载到本地2、客户端使用步骤http://www.cnblogs.com/hellomagic/p/5237096.html3、非常不错的起步博客http://youngxhui.github.io/2016/05/03/...

转发原文:http://blog.jobbole.com/111187/本文旨在使用通俗易懂的文字，讲解版本控制背后的理论，以便你能对程序员们如何工作有个全局概念。本文不涉及代码，不用下载啥东西，循序渐进，不关注繁复细节，只有文字和一些不怎么漂亮的手绘涂鸦。写本文的动机学习任何东西都能在网络上找到如此之多的指导教程，这一直令我惊讶不已。Git 和 Github 也不例外，网络上有大量优秀资...

2018.7.19远算科技一面：手撕LRU算法二面：1、缓存替换算法有哪几种，指标是什么？2、FTL层是什么，作用是什么，为什么要这么做？3、现在有人说要去掉FTL层，为什么要去掉，有什么好处？还有什么弊端4、简单的说下专利的思想5、什么是预取，预取的大小如何控制，何时预取，预取的大小？预取操作性能指标是什么？6、对于一个顺序读的操作，预取的大小怎么控制？是否可以建立相应的模型？...

2018.7.23下面是个人在秋招过程中搜集的一些面经，分享出来如下：——————————————————————————————————————————————————————1.进程和线程的区别？（什么样资源在两个线程共享）——进程是资源分配的最小单位，线程是cpu调度的最小单元——一个进程有多个线程，多个线程可以并发执行——进程的创建退出操作系统为其分配资源，切换线程需要保存这些...

2018.7.23C 结构体位域位域 ：有些信息在存储时，并不需要占用一个完整的字节， 而只需占几个或一个二进制位。例如在存放一个开关量时，只有0和1 两种状态， 用一位二进位即可。为了节省存储空间，并使处理简便，Ｃ语言又提供了一种数据结构，称为“位域”或“位段”。所谓“位域”是把一个字节中的二进位划分为几 个不同的区域，并说明每个区域的位数。每个域有一个域名，允许在程序中按域名进行操作。 ...

2018.7.30前文：回溯法和dfs是不一样的，回溯法有自己很独特的模板，dfs是一种思想，回溯法是dfs的一种实现。先来看回溯法的典型题型：Find a path to success 有没有解Find all paths to success 求所有解1.求所有解的个数 2. 求所有解的具体信息Find the best path to success 求最优解对应的三...

2018.7.30前文：回溯法和dfs是不一样的，回溯法有自己很独特的模板，dfs是一种思想，回溯法是dfs的一种实现。先来看回溯法的典型题型：Find a path to success 有没有解Find all paths to success 求所有解1.求所有解的个数 2. 求所有解的具体信息Find the best path to success 求最优解对应的三...

阿里一面：阿里面试完问了相关的问题：1.项目的介绍2.智力题给你一个数n，能否对它开方，不能用乘法3.计算机基础知识操作系统中，给进程分配的管理方式是怎么样的，给你一个4M的内存，怎么分配？操作系统中，内存的页级和段级管理方式，两者的区别操作系统中，如果给你一个二级页表，那么这个二级页表，可以减少多少的内存，怎么算？内存管理知识基本都考到了网络拥塞有了解过吗，分为哪几个部分滑...

下面是实习面试过程中的一些总结：面经1一面：1.this指针调用成员函数时的压栈和相关寄存器使用？（从右往左调用，这个容易可以回答；在x86中，会将this指针放在寄存器ecx中，以便快速访问，对于寄存器方面，我完全没有了解）2.虚表的调用，以及单继承，多继承，菱形继承中虚表在对象内存中位置？是一个虚表还是多个虚表？（虚表调用就是类的首地址，然后查表，单继承是单表，多继承是多表）3.RT...

实习面试过程中总结的一些面经：面经11.一块内存分为几块一块内存在逻辑上分为用户空间和内核空间，用户空间通过虚拟技术为每个进程分配不同的逻辑空间，进程逻辑空间包括：代码段，数据段、未出化数据段bss，堆空间、栈空间，他们是通过段页式的管理方式映射到物理内存；内核空间则是通过线性平铺的方式映射物理内存。2. STL sort原理（内省排序，插入、快排、堆排，快排比堆排快，局部性原理）插入排...

实习面试过程中总结的一些面经。面筋11. 说一下二分查找二分查找，时间复杂度是lg(n)，每次取二分的中间值，然后将查找区间缩小一半，直到最后找到查找值，从二叉树来表示的话，需要查找的次数就是一棵树的树深。n个节点的树，树深为lg(n)2. 二分查找的条件是什么条件是查找序列必须是有序的。3. 说一下平衡二叉树的概念平衡二叉树，又称为avltree，是搜索二叉树的一种改进，为了避免二...

这几天有时间在整brpc，准备用brpc写一个简单的memcached的客户端，区别于之前使用的libmemcaced。所以先得搭建memcached，之前本来有搭建好的，但是服务器后面重装做其他的去了，所以想着就用云主机吧。蹭着华为云新手可以免费领取一个月的memcached，所以选择使用华为云，试着搭建看看。官网链接如下：https://support.huaweicloud.com/us...

memcached是一种常见的缓存服务，之前开了一个专门的博客专栏用来讲解博客。在memecached中官网提供了client，C++的版本是libmemcached。这里我们想用brpc去替换到官方的libmemcached完成客户端client的访问，服务端的memcached当然还是一样的。1、brpc优势这里会给出相对于libmemcached，利用brpc写的client有以下的优...

1、为什么要有parallel channel关于ParallelChannel的使用，首先需要知道parallelchannel实际是为了更好的并发编程使用brpc而提供的一套api。在之前的博客中已经提到了如何使用brpc完成同步、异步的并发操作。虽然它们能完成异步并发的操作，但是这类代码的多线程陷阱很多，用户可能写出了bug也不自知，复现和调试也比较困难。而且实现要么只能支持同步的情况，要...

文章转载自：brpc学习：bvar一.介绍bvar是多线程环境下的计数器类库，方便记录和查看用户程序中的各类数值，它利用了thread local存储减少了cache bouncing，相比UbMonitor(百度内的老计数器库)几乎不会给程序增加性能开销，也快于竞争频繁的原子操作。brpc集成了bvar，http接口下的/vars可查看所有曝光的bvar，/vars/VARNAME可查阅某...

腾讯的面筋网上很多，这里整理了部分面筋，如下：面筋11.你如何处理线程池中线程的数量在这里就说一下“如何设定线程池中线程的数目？”线程池中线程的数目是跟线程池所要处理的任务性质有关的1.任务的性质：CPU密集型任务、IO密集型任务、混合型任务。2.任务的优先级：高、中、低。3.任务的执行时间：长、中、短。4.任务的依赖性：是否依赖其他系统资源，如数据库连接等。性质不同的任务可以交...

2018.3.23收集网上阿里面试相关题目：面筋11.第一题实现快速排序，第二题是实现一个同步控制，使用多线程打印abcabcabc2.很多区间求并集。合并两个有序链表比较快的方法3.给定一个升序整数数组a和整数x，返回a中>=x最左的位置，如果没有这样的数返回-1, 要求复杂度O(lgn)4.已知一个单链表中存在环，求进入环中的第一个节点思路两个指针,先用flyod判圈法让...

头条主要是手撕算法，这里收集了几篇头条的面筋。面筋1●算法题：○ 二叉树层序遍历(面试官提醒)○ JS的全排列(10分钟)● HTTP支持的方法○ GET和POST的区别● 301和302的区别● 如何避免301跳转https(在response中header)● TCP建立连接的三次握手过程● 操作系统进程和线程的区别● 线程的那些资源共享，那些资源不共享● 设计模式：...

1. 拷贝构造函数自己定义拷贝构造函数，例如可能涉及到深拷贝浅拷贝的问题，初始化时候可以匹配到拷贝构造函数，没有设置系统会产生一个默认的拷贝构造函数2. 深拷贝、浅拷贝深拷贝，及拷贝内存的数据，浅拷贝，拷贝指针，或者是地址3. 智能指针每一个对象维护一个指针的计数器，赋值拷贝这些计数器会增加，当计数器减少到0的时候，会调用析构函数析构掉这个对象。4. extern c不同源文件中，...

直接如题，从brpc开源的文档中看到brpc既支持同步调用，同时也支持异步调用。这里直接给出同步、异步的例子，同时对其进行分析。1、brpc同步调用brcp的同步调用是之前的echo的简单例子，所谓同步就是client对远端的server进行调用，同时自己原地等待，等待rpc返回之后，在进行之后的操作。代码如下：#include <iostream>#include <...

————————————————————————————————————————————c++中关于容器的一些用法：顺序容器，表示数据可以顺序的访问，不依赖于数据存放的位置，而依赖于数据加入容器的顺序。主要有：1.vector2.string3.list4.queue5.priority_queue6.stack关联容器：按照关键字的顺序来保存，访问也是按照关键字进行的。...

在线输入输出语法的测试，要求将这些数存入到容器中————————————————————————————————————————————1.给出的行或者列输入的长度，eg：确定列个数键盘输入：n1 3 4 5 6代码：————————————————————————————————————————————eg：确定的行列数键盘输入：n m1 2 3 42 3 5 6...

用STL比较多，之前面试要现场手撕代码，简单总结了下手撕的常见数据结构，主要是链表和二叉树单向链表的建立：双向链表的建立二叉树的建立二叉树的遍历...

2018.6.21前面分析了memcached的具体实现过程，下面了解下redis，fatcache和memcached的区别联系，为后面的分析做一个准备。这里主要是参考了一些博客的内容，原文链接找不到了。。。redis和memcached的区别（总结）观点一：1、Redis和Memcache都是将数据存放在内存中，都是内存数据库。不过memcache还可用于缓存其他东西，例如图片、视频等...

2018.6.21关于memcached的总结：参考博客：https://blog.csdn.net/initphp/article/details/44893869Memcache的网络模型1.Memcached主要是基于Libevent 网络事件库进行开发的。2.Memcached的网络模型分为两部分：主线程和工作线程。主线程主要用来接收客户端的连接信息；工作线程主要用来接管客户端连...

2018.6.21前面有说过memcached不是传统的malloc的方法来分配内存，而是使用slab的存储机制，下面来具体说明下这个slab的机制。Item 缓存数据存储的基本单元1.Item是Memcached存储的最小单位2.每一个缓存都会有自己的一个Item数据结构3.Item主要存储缓存的key、value、key的长度、value的长度、缓存的时间等信息。4.HashTa...

2018.6.21前面有提到过memcached使用的LRU是多段的LRU方法，对于每一个slab class都会匹配一个LRU方法，下面来具体分析下这种方法Memcached的LRU算法分析Memcached的LRU几种策略1.惰性删除。memcached一般不会主动去清除已经过期或者失效的缓存，当get请求一个item的时候，才会去检查item是否失效。2.flush命令。flu...

2018.6.20之前有了解过memecached为上层的应用客户端提供了几种最基本的操作，这些操作就是kv常见的增删改查操作，这些操作包装在对缓存操作的之上，即用户可以下发这几类操作，不同操作在memecached中对缓存进行不同的处理。这些处理也是调用LRU缓存替换算法的开始。1、首先给出memcached常见增删改查的命令集：增：set删：delete改：add/replace/...

之前有一篇博客已经讲解了如何用protobuf+socket完成心跳包的具体过程，见 protobuf+socket实现CS之间的心跳包. 显然之前并没有用到所谓的rpc的调用功能，只是利用protobuf实现序列化的反序列化的功能。这几天，在学习了brpc开源提供的一些案例的时候，尝试着用brcp去实现cs之间的心跳包，具体的过程如下：brpc的开源例子见链接：https://github....

之前有篇博文讲解了prc和socket的区别，但是仅仅是从用户实现角度来判断的，这几天在学习了brpc之后，在这三者的层次上又有了更深刻的理解，这里对这三者的比较在做一个简单的小节。1、三者的定义socket套接字，与底层TCP/IP网络协议栈打交道的对象，直接利用socket进行通信的，类似传统的TCP/UDP的通信，这种通信是以数据流的形式进行交换的，也就是我们称为的二进制数据。那么当...

2018.6.19今天来看memecached的缓存设置，前面学习的是memcached的网络模型，现在来讲一下memcached的缓存模型。今天来学习关于缓存模型的哈希表的结构。从这一章开始我们慢慢讲解Memcached是如何存储数据的。讲解本章前，我们先看一个Memcached存储数据的item的基本结构。数据结构 1. //item的具体结构 2. typedef str...

2018.6.14讲解Memcached如何从客户端读取命令，并且解析命令，然后处理命令并且向客户端回应消息。其中，Memcached是通过sendmsg函数向客户端发送数据的，这里我们具体分析Memcached回应消息的技术细节。右边对应了响应客户端需要准备好发送的数据结构，值得注意的是每次发送的是一个msghrd的结构体指向的缓存空间。这是一种多缓冲技术，也就是和之前我们说的发送缓冲区是...

2018.6.14之前学习了memcached的网络模型，主要是服务于多个客户端TCP连接的网络模型创建，也是CS架构上我们值得学习的一个模型，在设计网络模型的时候可以学习这种框架。今天来学习memcached的命令解析，也就是接收到了网络传来的数据包，按照不同的命令解析，并调用不同的功能模块。————————————————————————————————————————————我们回顾上...

2018.6.13接下来分析memecached服务端的源码分析，主要目的是了解其中的数据结构，以及缓冲区的替换算法这一部分。希望一步一步把memcached的代码看懂，找到了一篇参考博客，对memecached源码分析比较透彻，这里给出链接：https://blog.csdn.net/initphp/article/details/44893869同样，采用参考博客的目录，按照以下的目录进...

2018.6.13memcached客户端实现分布式的相关知识memcached的分布式正如第1次中介绍的那样， memcached虽然称为“分布式”缓存服务器，但服务器端并没有“分布式”功能。 服务器端仅包括 第2次、 第3次 前坂介绍的内存存储功能，其实现非常简单。 至于memcached的分布式，则是完全由客户端程序库实现的。 这种分布式是memcached的最大特点。memcach...

2018.6.13找到了一篇博客，全面解析memcached的知识点，主要从服务器端的内存原理，客户端的分布式原理，以及扩展方向来介绍的，下面对这几个方面做一个总结：1、理解memcached的内存存储我是mixi株式会社研究开发组的前坂徹。 上次的文章介绍了memcached是分布式的高速缓存服务器。 本次将介绍memcached的内部构造的实现方式，以及内存的管理方式。 另外,memca...

2018.6.12前面讲述了直接使用memcached命令的使用方法，这里使用库libmemcached客户端，如何使用其实现上面的这些命令操作，也就是libmemcached提供的API有哪些？具体的见官方文件：http://docs.libmemcached.org/libmemcached-1.0/memcached_touch.html下面对几个常见的API进行一个说明：1、说明...

2018.6.12前面讲述了直接使用memcached命令的使用方法，这里使用库libmemcached客户端，如何使用其实现上面的这些命令操作，也就是libmemcached提供的API有哪些？具体的见官方文件：http://docs.libmemcached.org/libmemcached-1.0/memcached_touch.html下面对几个常见的API进行一个说明：1、说明...

2018.6.12memcached的常用操作，因为也是一个存储系统，有自己封装好的一套命令集来数据的存储查找。1、常见的命令分类：2、具体命令的学习说明见链接：http://www.runoob.com/memcached/memcached-set-data.html下面说明几个最常见的命令：————————————————————————————————————————————...

2018.6.12memcached的常用操作，因为也是一个存储系统，有自己封装好的一套命令集来数据的存储查找。1、常见的命令分类：2、具体命令的学习说明见链接：http://www.runoob.com/memcached/memcached-set-data.html下面说明几个最常见的命令：————————————————————————————————————————————...

2018.6.12今天开始安装memcached的客户端，memcached服务器端不能互相通信，那么实际分布式的概念是由客户端来完成的，学习目的安装并了解客户端。1、基本了解memcached本身是一个集中式的内存缓存系统，对于分布式的支持服务端并没有实现，只有通过客户端实现；再者，memcached是基于TCP/UDP进行通信，只要客户端语言支持TCP/UDP即可实现客户端，并且可以根据...

2018.6.11今天主要看memecached服务器端的安装memcached两种安装方法，一种直接通过yum安装，一种通过源码安装，准备都尝试下这两种方法————————————————————————————————————————————第一种，通过yum进行安装Yum安装Memcache1.查找memcachedyum search memcached该命令可以查询...

2018.6.111、memcached是什么？memcached 是以LiveJournal 旗下Danga Interactive 公司的Brad Fitzpatric 为首开发的一款软件。现在已成为 mixi、 hatena、 Facebook、 Vox、LiveJournal等众多服务中 提高Web应用扩展性的重要因素。许多Web应用都将数据保存到RDBMS中，应用服务器从中读取数据...

原文博客：https://blog.csdn.net/jcjc918/article/details/50876613简单介绍gflags 是 google 开源的用于处理命令行参数的项目。安装编译项目主页：gflags~ git clone https://github.com/gflags/gflags.git # 下载源码 ~ cd gflagsgflags git:(ma...

转载博客：https://www.cnblogs.com/Leo_wl/p/8418929.htmlrpc是通过什么实现啊？socket！RPC(Remote Procedure Call，远程过程调用)是建立在Socket之上的,出于一种类比的愿望,在一台机器上运行的主程序,可以调用另一台机器上准备好的子程序,就像LPC(本地过程调用).越底层，代码越复杂、灵活性越高、效率越高；越上层，抽...

转载博客：https://www.cnblogs.com/Leo_wl/p/8418929.htmlrpc是通过什么实现啊？socket！RPC(Remote Procedure Call，远程过程调用)是建立在Socket之上的,出于一种类比的愿望,在一台机器上运行的主程序,可以调用另一台机器上准备好的子程序,就像LPC(本地过程调用).越底层，代码越复杂、灵活性越高、效率越高；越上层，抽...

参考博客：http://blog.jobbole.com/75842/本文中，开头我会解释使用现有模型而非重头开始此项目的原因。我会阐述一系列选择键值对存储模型的标准。最后我将对一些广为人知的键值对存储项目做一个概述，并用这些标准选择其中一些作为模型。本文将包含：1.不重新发明轮子2.备选模型和选择标准3.选择的键值对存储的概述4.参考文献1. 不重新发明轮子键值对存储已经被人们...

2018.6.11从今天开始研究存储里面键值系统的相关知识，存储介质提供一个存储体为生成，结合上次的存储服务，形成一个存储系统，我们最常见的存储系统就是文件系统，以文件的方式来在存储体上管理数据。同时也可以使用数据库，以数据库操作的形式来管理数据。同时还存在一种自己定义的方法，一般称为NoSQL的方式，即键值存储系统，来直接对存储体进行管理。这里我们具体学习下键值系统。主要从键值系统的基本理...

博客转载自:Linux-动态链接与静态链接对比一、库的基础概念：在windows平台和linux平台下都大量存在着库。本质上来说库是一种可执行代码的二进制形式，可以被操作系统载入内存执行。由于windows和linux的本质不同，因此二者库的二进制是不兼容的。通俗的说就是把这些常用函数的目标文件打包在一起，提供相应函数的接口，便于程序员使用。在使用函数时，只需要包对应的头文件即可。按照库的使用...

这篇博客首先给出CMake与Make最简单直接的区别，然后给出在Centos 7上安装使用cmake的一个过程，以供参考。1、CMake与Make的区别写程序大体步骤为：1.用编辑器编写源代码，如.c文件。2.用编译器编译代码生成目标文件，如.o。3.用链接器连接目标代码生成可执行文件，如.exe。但如果源文件太多，一个一个编译时就会特别麻烦，于是人们想到，为什么不设计一种类似批处...

前面介绍了brpc的理解，这里给出brpc官方的搭建过程，以及提供的测试用例，对brpc的使用有一个宏观的理解。PS：这里必须再次称赞百度工程师门，brpc开源的文档非常的丰富，仅仅是看文档都受益匪浅，同时提供了各个系统，各个版本的安装编译过程，安装编译文档可以通过以下链接直接查看：https://github.com/brpc/brpc/blob/master/docs/cn/getting...

今天开始对百度的这块开源项目进行学习，之前一直有听说，但是没有去尝试使用，下面就自己对brpc的学习心得进行一个总结。1、brpc的简介brpc又称为baidu-rpc，是百度开发一款“远过程调用”网络框架。目前该项目已在github上开源：https://github.com/brpc/brpc从开源的github上看，确实是很有水准的一款rpc，不仅是文档内容及其丰富，其中也提到了，br...

之前给出了都是google提供的一些样例，但是protobuf提供的是数据的序列化和反序列化，显然在cs架构中非常适用，适用protobuf可以大大减小编程者对于通信双方格式的定义与解析，只用关系用户的逻辑功能即可。下面拿一个简单的cs架构中双方心跳包的检测进行举例说明：1、定义protubuf心跳包的数据结构类型//Test.protopackage Test.protobuf ;//包...

之前给出了都是google提供的一些样例，但是protobuf提供的是数据的序列化和反序列化，显然在cs架构中非常适用，适用protobuf可以大大减小编程者对于通信双方格式的定义与解析，只用关系用户的逻辑功能即可。下面拿一个简单的cs架构中双方心跳包的检测进行举例说明：1、定义protubuf心跳包的数据结构类型//Test.protopackage Test.protobuf ;//包...

前面章节已经讲述了protobuf的理解，这里直接开门见山，给出一个实，来具体看下是如何使用的。本案例参考博客：google protobuf安装与使用案例的主要功能(google提供的基本案例)该程序示例的大致功能是，定义一个Persion结构体和存放Persion的AddressBook，然后一个写程序向一个文件写入该结构体信息，另一个程序从文件中读出该信息并打印到输出中。1.add...

前面一章已经讲述了protobuf的安装过程，接下来讲述protobuf是什么东西，最直白的理解。这里直接给出一篇直白的入门理解博客内容：Google 的开源技术protobuf 简介与例子★protobuf是啥玩意儿？为了照顾从没听说过的同学，照例先来扫盲一把。　　首先，protobuf是一个开源项目（官方站点在“这里”），而且是后台很硬的开源项目。网上现有的大部分（至少80%）开源项...

今天看Brpc开源代码的时候，看到了里面提到了google开源的protobuf的数据序列化和反序列工具，所以特地下了源码，试着看下一个简单的使用过程。1、protobuf的介绍google protobuf是一个灵活的、高效的用于序列化数据的协议。相比较XML和JSON格式，protobuf更小、更快、更便捷。google protobuf是跨语言的，并且自带了一个编译器(protoc)，只...

废话不说，直接如题。CentOS里面使用yum直接更新gcc，发现更新到的gcc版本最高只有4.4.7。但是有的时候，使用某些开源组件（我遇到的是protobuf）会导致编译不成功，提示缺少c11 STL的相关包，google了一下，发现的确是gcc的版本不够高，这种情况只能手动的升级gcc。下面是详细的手动安装or升级gcc g++的步骤1、获取安装包，并且解压，这里以升级到gcc-6....

2018.6.111.问题如果打算为项目选择一款免费、开源的数据库，那么你可能会在MySQL与PostgreSQL之间犹豫不定。MySQL与PostgreSQL都是免费、开源、强大、且功能丰富的数据库。你主要的问题可能是：哪一个才是最好的开源数据库，MySQL还是PostgreSQL呢？该选择哪一个开源数据库呢？在选择数据库时，你所做的是个长期的决策，因为后面如果再改变决定将是非常困难且代价...