xiaofei0859的专栏

㈠ 磁道以盘片中心为圆心，用不同的半径，划分出不同的很窄的圆环形区域，称为磁道㈡ 扇区磁盘上的每个磁道被等分为若干个弧段，这些弧段便是磁盘的扇区.扇区是磁盘最小的物理存储单元㈢ 柱面上下一串盘片中，相同半径的磁道所组成的一个圆柱型的环壁，就称为柱面 ㈣ 寻道时间磁头从开始移动到数据所在磁道所需要的时间寻道时间越短，I/O操作越快，

HDFS中的数据按照一定策略分布在集群中的多个数据节点上，但在某些情况下，数据的分布也会出现不均衡的情况，比如说集群新增加了节点，在新增加的节点上就没有数据存在，虽说之后新增的数据会分配到新节点上，不过，对于已有数据，新节点和原有节点上的分布很不均衡，而且这还会导致在分配MapReduce任务的时候新机器分配不到可执行的任务分配，白白浪费了新增节点的计算能力。而对于一个真实的生产环境来说，随着数据

不经常接触电脑的朋友可能会很多一些电脑小知识不理解，今天编辑在电脑爱好者QQ群中就发现有朋友问了一个比较简单，但新手朋友一般不怎么会关注到的问题：什么是串口硬盘，什么是并口硬盘。两者哪个速度快些等。笔者发现不少朋友一点不懂或知道的不全面，编辑这里发布一些硬盘串口与并口比较详细的介绍。希望对接触的朋友有帮助。　为了便于大家理解，有朋友这样介绍串并口硬盘的区别： 通俗的说，串口

同一进程间的线程究竟共享哪些资源呢，而又各自独享哪些资源呢？共享的资源有：一个。堆由于堆是在进程空间中开辟出来的，所以它是理所当然地被共享的;因此新出来的都是共享的（16位平台上分全局堆和局部堆，局部堆是独享的）湾 全局变量它是与具体某一函数无关的，所以也与特定线程无关;因此也是共享的C。静态变量虽然对于局部变量来说，它在代码中是“放”在某一函数中的，但是其存放位置和全局变量...

现在多进程多线程已经是老生常谈了，协程也在最近几年流行起来。python中有协程库gevent，py web框架tornado中也用了gevent封装好的协程。本文主要介绍进程、线程和协程三者之间的区别。一、概念　　1、进程进程是具有一定独立功能的程序关于某个数据集合上的一次运行活动,进程是系统进行资源分配和调度的一个独立单位。每个进程都有自己的独立内存空间，不同进程通过进程间通信来通...

Kubeflow 入门——为 Kubernetes 打造的组件化、可移植、可扩展的机器学习堆栈【编者的话】本文来自 Kubeflow 项目的产品经理 David Aronchick 和首席工程师 Jeremy Lewi，主要讲了他们新的开源项目——Kubeflow 的一些入门知识，Kubeflow 致力于使 Kubernetes 上的机器学习堆栈变得简单，快速及可扩展。Kubernetes ...

在开发高并发系统时有三把利器用来保护系统：缓存、降级和限流。之前已经有一些文章介绍过缓存和限流了。本文将详细聊聊降级。当访问量剧增、服务出现问题（如响应时间慢或不响应）或非核心服务影响到核心流程的性能时，仍然需要保证服务还是可用的，即使是有损服务。系统可以根据一些关键数据进行自动降级，也可以配置开关实现人工降级。本文将介绍一些笔者在实际工作中遇到的或见到过的一些降级方案供大家参考。 

主要功能Class.forName(xxx.xx.xx)返回的是一个类Class.forName(xxx.xx.xx)的作用是要求JVM查找并加载指定的类，也就是说JVM会执行该类的静态代码段下面，通过解答以下三个问题的来详细讲解下Class.forName()的用法。一.什么时候用Class.forName()？先来个热身，给你一个字符串变量，它代表一个类的包名和类名，你怎

1.JSON解析      (1).解析Object之一:1{"url":"http://www.cnblogs.com/qianxudetianxia"}　　解析方法：12JSONObject demoJson = new JSONO

对于classpath作用的解释在《Thinking in Java》中有如下解释：   Java 解释器的工作程序如下：　　首先，它找到环境变量CLASSPATH（将Java 或者具有Java 解释能力的工具——如浏览器——安装到机器中时，通过操作系统进行设定）。CLASSPATH 包含了一个或多个目录，它们作为一种特殊的“根”使用，从这里展开对.class 文件的搜索。从那个根开始，解

1、序列化是干什么的？       简单说就是为了保存在内存中的各种对象的状态（也就是实例变量，不是方法），并且可以把保存的对象状态再读出来。虽然你可以用你自己的各种各样的方法来保存object states，但是Java给你提供一种应该比你自己好的保存对象状态的机制，那就是序列化。2、什么情况下需要序列化       a）当你想把的内存中的对象状态保存到一个文件中或者数据库中时候

在Map集合中values():方法是获取集合中的所有的值----没有键，没有对应关系，KeySet():将Map中所有的键存入到set集合中。因为set具备迭代器。所有可以迭代方式取出所有的键，再根据get方法。获取每一个键对应的值。 keySet():迭代后只能通过get()取key entrySet()：Set> entrySet() //返回此映射中包含的映射关系的

1、基本概述SetMap.EntryK,V>> entrySet()  返回此映射中包含的映射关系的 set 视图。SetK>              keySet()      返回此映射中包含的键的 set 视图。2、效率分析对于keySet其实是遍历了2次，一次是转为iterator，一次就从hashmap中取出key所对于的value。而entry

前面讲了C++继承并扩展C语言的传统类型转换方式，最后留下了一些关于指针和引用上的转换问题，没有做详细地讲述。C++相比于C是一门面向对象的语言，面向对象最大的特点之一就是具有“多态性(Polymorphism)”。要想很好的使用多态性，就免不了要使用指针和引用，也免不了会碰到转换的问题，所以在这一篇，就把导师讲的以及在网上反复查阅了解的知识总结一下。C++提供了四个转换运算符：

nohup命令：如果你正在运行一个进程，而且你觉得在退出帐户时该进程还不会结束，那么可以使用nohup命令。该命令可以在你退出帐户/关闭终端之后继续运行相应的进程。nohup就是不挂起的意思( n ohang up)。该命令的一般形式为：nohup command &ls xxx 1>out.txt 2>&1nohup /mnt/Nand3/H2000G >/dev/nul

this指针只能在一个类的成员函数中调用，它表示当前对象的地址。下面是一个例子： void Date::setMonth( int mn ) { month = mn; // 这三句是等价的 this->month = mn; (*this).month = mn; } 1. this只能在成员函数中使用。全局函数，静态函数都

sql语句中as的用法和作用最近做项目中，偶然发现在SQL语句中出现了as这个词，一直以来没怎么关注是什么意思，毕竟影响不大，今天有空，就在网上查了一些资料，大概有了一些的了解我们的Sql语句在很多数据库中都是通用的,比如像Mysql数据库 Access数据库. Oracle数据库.  Sqlite数据库 .甚至在我们的Excel中也可以使用Sql语句.在我的数据库中有us

1. endl的本质自从在C语言的教科书中利用Hello world程序作为学习的起点之后，很多程序设计语言的教科书都沿用了这个做法。我们写过的第一个C++程序可能就是这样的。#include using namespace std;int main(){ cout"Hello world"<<endl;}123456学习过C语言的程序猿自然会把输出语句与C语言中的输

”“
” 表示一个字符串，只有一个数据是回车符‘
’‘
’ 表示一个字符，两者在输出上是一样的！endl在c++中，终端输出换行时，用cout 与 “
”都可以，这是初级的认识。但二者有小小的区别，用endl时会刷新缓冲区，使得栈中的东西刷新一次，但用“
”不会刷新，它只会换行，盏内数据没有变化。但一般情况，二者的这点区别是很小的，在大的程序中

普通进程用&符号放到后台运行，如果启动该程序的控制台logout，则该进程随即终止。要实现守护进程，一种方法是按守护进程的规则去编程（本站有文章介绍过），比较麻烦；另一种方法是仍然用普通方法编程，然后用nohup命令启动程序： nohup & 则控制台logout后，进程仍然继续运行，起到守护进程的作用（虽然它不是严格意义上的守护进程）。使用nohup命令后，原程序的

1. 标准输入与输出我们知道，执行一个shell命令行时通常会自动打开三个标准文件，即标准输入文件（stdin），通常对应终端的键盘；标准输出文件（stdout）和 标准错误输出文件（stderr），这两个文件都对应终端的屏幕。进程将从标准输入文件中得到输入数据，将正常输出数据输出到标准输出文件，而将错误信息 送到标准错误文件中。我们以cat命令为例，cat命令的功

简介之所以能用到这个命令，关键是由于很多命令不支持|管道来传递参数，而日常工作中有有这个必要，所以就有了xargs命令，例如：这个命令是错误的find /sbin -perm +700 |ls -l这样才是正确的find /sbin -perm +700 |xargs ls -l   xargs 可以读入 stdin 的资料，并且以空白字元或断行字元作为分辨，将 s

文件IO---标准输入、标准输出和标准错误（1） 每个进程都会默认打开3个文件描述符，即0、1、2。其中0代表标准输入流、1代表标准输出流、2代表标准错误流。通常标准输入流对应着键盘的设备文件、标准输出流和错误流对应着显示器的设备文件。在编程中通常使用宏STDIN_FILENO、STDOUT_FILENO和STDERR_FILENO分别来代表0，1，2。 要注意一点：

正排索引（正向索引）正排表是以文档的ID为关键字，表中记录文档中每个字的位置信息，查找时扫描表中每个文档中字的信息直到找出所有包含查询关键字的文档。正排表结构如图1所示，这种组织方法在建立索引的时候结构比较简单，建立比较方便且易于维护;因为索引是基于文档建立的，若是有新的文档加入，直接为该文档建立一个新的索引块，挂接在原来索引文件的后面。若是有文档删除，则直接找到该文档号文档对应的索引信息

在STL中基本容器有: vector、list、deque、set、mapset 和map都是无序的保存元素,只能通过它提供的接口对里面的元素进行访问set:集合, 用来判断某一个元素是不是在一个组里面,使用的比较少map:映射,相当于字典,把一个值映射成另一个值,如果想创建字典的话使用它好了底层采用的是树型结构,多数使用平衡二叉树实现,查找某一值是常数时间,遍历起来效果也不错,

鱼还是熊掌：浅谈多进程多线程的选择关于多进程和多线程，教科书上最经典的一句话是“进程是资源分配的最小单位，线程是CPU调度的最小单位”，这句话应付考试基本上够了，但如果在工作中遇到类似的选择问题，那就没有这么简单了，选的不好，会让你深受其害。 经常在网络上看到有的XDJM问“多进程好还是多线程好？”、“Linux下用多进程还是多线程？”等等期望一劳永逸的问题，我只能说：没有

多线程其实就是指两个任务一前一后或者同时发生。1 简介当你在网上搜索设计模式的相关资料时，你一定会找到最常被提及的一个模式：单例模式(Singleton)。然而，当你尝试在项目中使用单例模式时，一定会遇到一个很重要的限制：若使用传统的实现方法(我们会在下文解释如何实现)，单例模式是非线程安全的。程序员们为了解决这一问题付出了很多努力，其中最流行的一种解决方法是使用一个新的设

存储系统从其与生俱来的使命来说，就难以摆脱复杂系统的魔咒。无论是从单机时代的文件系统，还是后来C/S或B/S结构下数据库这样的存储中间件兴起，还是如今炙手可热的云存储服务来说，存储都很复杂，而且是越来越复杂。存储为什么会复杂，要从什么是存储谈起。存储这个词非常平凡，存储 + 计算（操作）就构成了一个朴素的计算机模型。简单来说，存储就是负责维持计算系统的状态的单元。从维持状态的角度，我们会有最朴

[LeetCode] Median of Two Sorted Arrays 两个有序数组的中位数 There are two sorted arrays nums1 and nums2 of size m and n respectively. Find the median of the two sorted arrays. The overall run time

题目的意思很简单，比如说有数组[1,6,9,2,1,5,15,20]，那么满足上述条件的元素为1,15,20。分析1.暴力的方法就是从左到右进行遍历，到达某个数字后，在从0开始遍历到当前下标，找出最大的，再从当前下标遍历到尾，找出最小的，然后根据题意比较一下，这个算法为O(n^2)。比较简单的算法就是利用一下额外的空间，保存一下，每个元素右侧的最小值，或者左侧的最大值，

转载：http://blog.csdn.net/guoyuguang0/article/details/51018249判断一棵树是否是二叉查找树 利用该节点对应的最大值和最小值来判断该节点是否符合二叉查找树的性质。public boolean isValidBST(TreeNode root) { return validateRange(root, Lo

版权声明： GNU General Public License. https://github.com/lucky521二分查找是必须要掌握的技能，适用于有序的、顺序的存储结构。1、可以用它来查找某一个数2、可以用于查找某一个范围。如《二分查找有序数组中某个数的所在范围 Search for a Range》。3、可以用它来查找两个有序数组的中位数。

作者：henrystark henrystark@126.comBlog: http://henrystark.blog.chinaunix.net/日期：20140626本文遵循CC协议：署名-非商业性使用-禁止演绎 2.5（https://creativecommons.org/licenses/by-nc-nd/2.5/cn/）。可以自由拷贝，转载。但转载请保持文档的完整性，注明

记录，学习使用http://linuxtools-rst.readthedocs.io/zh_CN/latest/tool/index.html

性能测试的一项重要工作就是检查有没有内存泄露。Linux下通过top/free/pmap/ps，会提供许多关于内存分配的信息，如top里面的VIRT，RSS，SWAP，VSZ，RES，SHR等等，到底哪些参数能够用来检测memory leak呢？虽然baidu，google很方便，但是一直没有找到一个令人信服的答案。这些天一直在研究，结合我在以往实际工作中的一些经验，在此做一个总结：

内存泄漏的问题，在百度是遇到最多的，阿里相对少点。与内存泄漏斗争了很久，我总结下常用的一些有效测试方法吧。　　1、valgrind，这是非常好用的工具，虽然参数很多，输出结果较多，但是只要认真看下，就很容易发现问题，报告是很详细的，不要被吓倒。valgrind检测的内存泄漏是非常准的，可以精确定位到代码行甚至是变量。valgrind基于valginrd core框架，这是个非常有强大的框架

简介       死锁 (deallocks)： 是指两个或两个以上的进程（线程）在执行过程中，因争夺资源而造成的一种互相等待的现象，若无外力作用，它们都将无法推进下去。此时称系统处于死锁状态或系统产生了死锁，这些永远在互相等待的进程（线程）称为死锁进程（线程）。 由于资源占用是互斥的，当某个进程提出申请资源后，使得有关进程（线程）在无外力协助下，永远分配不到必需的资源而无法继续运行，这就

引言有时我们需要对程序进行优化、减少程序响应时间。除了一段段地对代码进行时间复杂度分析，我们还有更便捷的方法吗？若能直接找到影响程序运行时间的函数调用，再有针对地对相关函数进行代码分析和优化，那相比漫无目的地看代码，效率就高多了。将strace和pstack工具结合起来使用，就可以达到以上目的。strace跟踪程序使用的底层系统调用，可输出系统调用被执行的时间点以及各个调用

本文是《一种定位内存泄露的方法（Solaris）》对应的Linux版本，调试器使用gdb。主要介绍实例部分。其他请见《一种定位内存泄露的方法（Solaris）》。实例：模拟new失败的程序：#include class ABC{public:        virtual ~ABC(){}        int i;     

在Linux产品开发过程中，通常需要注意系统内存使用量，和评估单一进程的内存使用情况，便于我们选取合适的机器配置，来部署我们的产品。linux本身提供了一些工具方便我们达成这些需求，查看进程实时资源top工具，更详细的进程内存堆栈情况，pmap工具，Linux进程运行时状态信息也会保存在proc目录下，相应进程ID目录下，这里有很丰富的信息，先讨论进程内存。       借助网上大

/proc//maps查看进程的虚拟地址空间是如何使用的。该文件有6列，分别为：地址：库在进程里地址范围权限：虚拟内存的权限，r=读，w=写,x=,s=共享,p=私有；偏移量：库在进程里地址范围设备：映像文件的主设备号和次设备号；节点：映像文件的节点号；路径: 映像文件的路径每项都与一个vm_area_struct结构成员对应，范例：应用程序的正文段（权

Linux 下面查看内存有多种渠道，比如通过命令 ps ,top,free 等，比如通过/proc系统，一般需要比较详细和精确地知道整机内存/某个进程内存的使用情况，最好通过/proc 系统，下面介绍/proc系统下内存相关的几个文件 单个进程的内存查看  cat /proc/[pid] 下面有几个文件： maps , smaps, status maps 文件

查看程序内存空间两种方法一、查看/proc/{pid}/maps文件#cat /proc/568/maps00008000-0036a000 r-xp 00000000 00:0e 236        /home/hik/hicore00372000-003a5000 rw-p 00362000 00:0e 236        /home/hik/hicore

1、fork（）     一个程序一调用fork函数，系统就为一个新的进程准备了前述三个段，首先，系统让新的进程与旧的进程使用同一个代码段，因为它们的程序还是相同的，对于数据段和堆栈段，系统则复制一份给新的进程，这样，父进程的所有数据都可以留给子进程，但是，子进程一旦开始运行，虽然它继承了父进程的一切数据，但实际上数据却已经分开，相互之间不再有影响了，也就是说，它们之间不再共享任何数据了。而如

本文讨论在C/C++中，一维数组和二维数组中的地址偏移问题。一维数组 int a[3];二维数组 int a[3][3];1、先看一维数组的情况：[cpp] view plain copy#include     using namespace std;    int main()  {

INT_MIN在标准头文件limits.h中定义。#define INT_MAX 2147483647#define INT_MIN (-INT_MAX - 1)1212在C/C++语言中，不能够直接使用-2147483648来代替最小负数，因为这不是一个数字，而是一个表达式。表达式的意思是对整数21473648取负，但是2147483648已经溢出了int的上限，所以定义为（-IN

问题给定一棵二叉树，判定该二叉树是否是二叉搜索树（Binary Search Tree）？解法1:暴力搜索首先说明一下二叉树和二叉搜索树的区别。二叉树指这样的树结构，它的每个结点的孩子数目最多为2个；二叉搜索树是一种二叉树，但是它有附加的一些约束条件，这些约束条件必须对每个结点都成立：结点node的左子树所有结点的值都小于node的值。结点node的右子树所有结点的

一. CPU性能评估      1.vmstat  [-V]  [-n]  [depay  [count]]          -V ： 打印出版本信息，可选参数          -n ： 在周期性循环输出时，头部信息仅显示一次          delay ： 两次输出之间的时间间隔          count ： 按照delay指定的时间间隔统计的次数。默认是1  

connect超时：我们都知道，connect对应与三次握手中的第一次发送SYN，而对待服务器的ACK，如果服务器没有启动服务器，有些机器会立刻返回一个RST表示服务器拒绝，从而connect失败，但又些服务器为了防止攻击，什么也不发送，直至客户端connect超时，而这一时间又75s，对于客户端来说是不能接收的。所以需要设置connect的超时时间。利用select设置conne

建立socket后默认connect()函数为阻塞连接状态，在大多数实现中，connect的超时时间在75s至几分钟之间，想要缩短超时时间，可解决问题的两种方法：方法一、将socket句柄设置为非阻塞状态，方法二、采用信号处理函数设置阻塞超时控制。在一个TCP套接口被设置为非阻塞之后调用connect,connect会立即返回EINPROGRESS错误,表示连接操作正在进行中,但是仍未完成

Hi there! This webpage covers the space and time Big-O complexities of common algorithmsused in Computer Science.  When preparing for technical interviews in the past, I found myself spending hours cr

废话不多说，常用的代码积淀下来。一、懒汉模式：即第一次调用该类实例的时候才产生一个新的该类实例，并在以后仅返回此实例。需要用锁，来保证其线程安全性：原因：多个线程可能进入判断是否已经存在实例的if语句，从而non thread safety.使用double-check来保证thread safety.但是如果处理大量数据时，该锁才成为严重的性能瓶颈。1、静态成员实例的懒汉模式：

想必每一位程序员都对设计模式中的单例模式非常的熟悉吧，以往我们用C++实现一个单例模式需要写以下代码：   1 class CSingleton 2 { 3 private: 4     CSingleton() //构造函数是私有的 5     { 6     } 7     static CSingleton *m_pInstance; 8 publ

1 教科书里的单例模式　　我们都很清楚一个简单的单例模式该怎样去实现：构造函数声明为private或protect防止被外部函数实例化，内部保存一个private static的类指针保存唯一的实例，实例的动作由一个public的类方法代劳，该方法也返回单例类唯一的实例。　　上代码：　　123456

const 数据成员const 数据成员只在某个对象生存期内是常量，而对于整个类而言却是可变的。因为类可以创建多个对象，不同的对象其 const 数据成员的值可以不同。所以不能在类声明中初始化 const 数据成员，因为类的对象未被创建时，编译器不知道const 数据成员的值是什么。 const 数据成员的初始化只能在类的构造函数的初始化表中进行。要想建立在整个类中都恒

Static关键字用法总结static关键字是C, C++中都存在的关键字。static从字面理解，是“静态的“的 意思，与此相对应的，应该是“动态的“。static的作用主要有以下3个：1、扩展生存期；2、限制作用域；3、唯一性；1、扩展生存期这一点主要是针对普通局部变量和static局部变量来说的。声明为static的局部变量

转自：http://blog.csdn.NET/skyereeee/article/details/8000512static的三个作用：（1）局部静态变量（2）外部静态变量/函数（3）静态数据成员/成员函数前两种C和C++都有，第三种仅在C++中有，下面分别作以下介绍：一、局部静态变量在C/C++中，局部变量按照存储形式可分为三种auto，

Nginx-Lua模块的执行顺序一、nginx执行步骤nginx在处理每一个用户请求时，都是按照若干个不同的阶段依次处理的，与配置文件上的顺序没有关系，详细内容可以阅读《深入理解nginx:模块开发与架构解析》这本书，这里只做简单介绍；1、post-read读取请求内容阶段，nginx读取并解析完请求头之后就立即开始运行；2、server-rewriteserver

lua_code_cache语法：lua_code_cache on | off默认： on适用上下文：http、server、location、location if这个指令是指定是否开启lua的代码编译缓存，开发时可以设置为off，以便lua文件实时生效，如果是生产线上，为了性能，建议开启。lua_package_path语法：lua_package_path

在二叉树中找近期公共父节点。分为两种情况，一种是有父指针，一种没有父指针。1、有父指针这样的情况比較简单。计算两个结点的深度，再把深度大的向上移。移到同一深度。在同一时候向上移动，直到两个结点同样，这样便找到了父节点。这个算法时间复杂度为O(N)。代码实现：#includestruct Node{ int data; Node* left; Nod

这个问题可以分为三种情况来考虑：情况一：root未知，但是每个节点都有parent指针此时可以分别从两个节点开始，沿着parent指针走向根节点，得到两个链表，然后求两个链表的第一个公共节点，这个方法很简单，不需要详细解释的。情况二：节点只有左、右指针，没有parent指针，root已知思路：有两种情况，一是要找的这两个节点（a, b），在要遍历的节点（root）的两侧，那么这

有符号整数，正数的表示区间为：0x00000000-0x7FFFFFFF;负数的表示区间：0x80000000-0xFFFFFFFF。负数在内存中都是以补码的形式存放，补码的规则是用0减去这个数的绝对值。也可以表示为对这个数取反加1；为什么补码是对这个数取反加1呢？因为，X+X(反)=0xFFFFFFFF,于是X+X(反)+1=0，所以可以推导出0-X=X(反)+1;计算机

1.  page cachelinux操作系统默认情况下写都是有写缓存的，可以使用direct IO方式绕过操作系统的写缓存。当你写一串数据时，系统会开辟一块内存区域缓存这些数据，这块区域就是我们常说的page cache（操作系统的页缓存）。查看系统内存常用的命令有：vmstat、free、top等。可以使用 cat /proc/meminfo 查看详细的内存使用情况 

http://blog.sina.com.cn/s/articlelist_1029388674_11_1.html Linux 性能优化之 IO 子系统(一)本文介绍了对 Linux IO 子系统性能进行优化时需要考虑的因素，以及一些 IO 性能检测工具。本文的大部分内容来自 IBM Redbook - Linux Performance and Tuning G

1 概念            什么是CPU Affinity？Affinity是进程的一个属性，这个属性指明了进程调度器能够把这个进程调度到哪些CPU上。            在Linux中，我们可以利用CPU affinity 把一个或多个进程绑定到一个或多个CPU上。CPU Affinity分为2种，soft affinity和hard affinity。soft

转载自：http://coolshell.cn/articles/7490.html关于性能优化这是一个比较大的话题，在《由12306.cn谈谈网站性能技术》中我从业务和设计上说过一些可用的技术以及那些技术的优缺点，今天，想从一些技术细节上谈谈性能优化，主要是一些代码级别的技术和方法。本文的东西是我的一些经验和知识，并不一定全对，希望大家指正和补充。在开始这篇文章之前，大家

Redis并发问题Redis为单进程单线程模式，采用队列模式将并发访问变为串行访问。Redis本身没有锁的概念，Redis对于多个客户端连接并不存在竞争，但是在Jedis客户端对Redis进行并发访问时会发生连接超时、数据转换错误、阻塞、客户端关闭连接等问题，这些问题均是由于客户端连接混乱造成。对此有2种解决方法：1.客户端角度，为保证每个客户端间正常有序与Redis进行通信，对连

pthread_cond_wait总和一个互斥锁结合使用。在调用pthread_cond_wait前要先获取锁。pthread_cond_wait函数执行时先自动释放指定的锁，然后等待条件变量的变化。在函数调用返回之前，自动将指定的互斥量重新锁住。int pthread_cond_signal(pthread_cond_t * cond);pthread_cond_signal通过

问题：我正尝试使用curl命令获取一个URL，但除此之外我还想在传出的HTTP请求中设置一些自定义的头部字段。我如何能够在curl中使用自定义的HTTP头呢？curl是一个强大的命令行工具，它可以通过网络将信息传递给服务器或者从服务器获取数据。他支持很多的传输协议，尤其是HTTP/HTTPS以及其他诸如FTP/FTPS， RTSP， POP3/POP3S, SCP, IMAP/IMAPS协

算法的时间复杂度和空间复杂度-总结        通常，对于一个给定的算法，我们要做 两项分析。第一是从数学上证明算法的正确性，这一步主要用到形式化证明的方法及相关推理模式，如循环不变式、数学归纳法等。而在证明算法是正确的基础上，第二部就是分析算法的时间复杂度。算法的时间复杂度反映了程序执行时间随输入规模增长而增长的量级，在很大程度上能很好反映出算法的优劣与否。因此，作为程序员，掌握基本的

转载： http://www.cnblogs.com/catch/p/4314256.html什么时候初始化根据 C++ 标准，全局变量的初始化要在 main 函数执行前完成，常识无疑，但是这个说法有点含糊，main 函数执行前到底具体是什么时候呢？是编译时还是运行时？答案是既有编译时，也可能会有运行时(seriously), 从语言的层面来说，全局变量的初始化可以划分为以下两

局部静态变量是如何做到只初始化一次的?关于编译选项 -Wa,-adlhn参考http://blog.csdn.net/lanxinju/article/details/5900986  以下内容来自于内网别的高人的回复可以写个程序测试一下： 12345678910

多队列网卡是一种技术，最初是用来解决网络IO QoS （quality of service）问题的，后来随着网络IO的带宽的不断提升，单核CPU不能完全处满足网卡的需求，通过多队列网卡驱动的支持，将各个队列通过中断绑定到不同的核上，以满足网卡的需求。常见的有Intel的82575、82576，Boardcom的57711等，下面以公司的服务器使用较多的Intel 82575网卡为例，分析

1 、前言　　自从诞生以来，Linux 就被不断完善和普及，目前它已经成为主流通用操作系统之一，使用得非常广泛，它与Windows 、UNIX 一起占据了操作系统领域几乎所有的市场份额。特别是在高性能计算领域，Linux 已经成为一个占主导地位的操作系统，在2005年6月全球TOP500 计算机中，有 301 台部署的是 Linux 操作系统。因此，研究和使用 Linux 已经成为开发

转载：http://blog.csdn.net/doupei2006/article/details/8066022本文是阅读周伟民的《多核计算与程序设计》书摘1、锁竞争：单核中，如果单个线程取得所，则获取CPU运行时间，其他等待获取锁的线程被阻塞。使用了锁，影响的只是枷锁和解锁的耗时，CPU始终运行。多核中，若2个（更多）线程使用同一把

转载：http://blog.csdn.net/ict2014/article/details/17394259SkipList在leveldb以及lucence中都广为使用，是比较高效的数据结构。由于它的代码以及原理实现的简单性，更为人们所接受。我们首先看看SkipList的定义，为什么叫跳跃表？“ Skip lists are data structures that us

转载：http://blog.csdn.net/fengbingchun/article/details/24185217结构体中最后一个成员为[0]长度数组的用法：这是个广泛使用的常见技巧，常用来构成缓冲区。比起指针，用空数组有这样的优势：(1)、不需要初始化，数组名直接就是所在的偏移；(2)、不占任何空间，指针需要占用int长度空间，空数组不占任何空间。“这个数组不占用任何内存”，意味

跳表SkipList1.聊一聊跳表作者的其人其事2. 言归正传，跳表简介3. 跳表数据存储模型4. 跳表的代码实现分析5. 论文，代码下载及参考资料 . 聊一聊作者的其人其事 跳表是由William Pugh发明。他在 Communications of the ACM June 1990, 33(6) 668-676 发表了Skip lis

转载：http://kenby.iteye.com/blog/1187303为什么选择跳表目前经常使用的平衡数据结构有：B树，红黑树，AVL树，Splay Tree, Treep等。 想象一下，给你一张草稿纸，一只笔，一个编辑器，你能立即实现一颗红黑树，或者AVL树出来吗？ 很难吧，这需要时间，要考虑很多细节，要参考一堆算法与数据结构之类的树，还要参

Skip List（跳跃表）原理详解与实现 转载：http://dsqiu.iteye.com/blog/1705530本文内容框架：§1 Skip List 介绍§2 Skip List 定义以及构造步骤 §3 Skip List 完整实现§4 Skip List 概率分析§5 小结   

一，O_DIRECT，绕过缓冲区高速缓存，直接IO直接IO：Linux允许应用程序在执行磁盘IO时绕过缓冲区高速缓存，从用户空间直接将数据传递到文件或磁盘设备，称为直接IO（direct IO）或者裸IO（raw IO）。应用场景：数据库系统，其高速缓存和IO优化机制均自成一体，无需内核消耗CPU时间和内存去完成相同的任务。使用直接IO的弊端：可能会大大降低性能，内核对

fread就是通过read来实现的，fread是C语言的库，而read是系统调用。差别在read每次读的数据是调用者要求的大小，比如调用者要求读取10个字节数据，read就会从内核缓冲区（操作系统开辟的一段空间用来存储磁盘上的数据）读10个字节数据到数组中，所以每次调用read会涉及到用户态与內核态之间的切换从而损耗一定的性能。而fread不一样，为了加快读的速度，fread每次都会从内核缓冲

看完此文，题目不言自明。转自 http://blog.chinaunix.net/uid-27105712-id-3270102.html在Linux 开发中，有几个关系到性能的东西，技术人员非常关注：进程，CPU，MEM，网络IO，磁盘IO。本篇文件打算详细全面，深入浅出。剖析文件IO的细节。从多个角度探索如何提高IO性能。本文尽量用通俗易懂的视角去阐述。不copy内核代码。

现在多CPU的趋势越来越大了. 有时候为了更好地操作机器, 需要将某个进程绑定到具体的CPU上去. 下面给出了一个进程绑定到具体的CPU上去的一个例子. cpu.c#include#include#include#include#include#define __USE_GNU#include#

常见的并行程序设计问题的解决方法1. 线程过多        线程并不是越多越好，对于某个程序，如果线程过多反而会严重地降低程序的性能。这种影响主要在于：        将给定的工作量划分给过多的线程会造成每个线程的工作量过少，因此可能导致线程启动和终止的开销比程序实际工作的时间还要多。        同时，太多并发线程的存在将导致共享有限硬件资源的开销增大。如

五种主要多核并行编程方法分析与比较随着多核时代的到来与流行，传统的单线程串行程序的编程模式必将改变，取而代之的将是并行编程。目前已经有五种主要并行编程模型，下面将对此五种模型进行概括性的分析与比较：1. MPI　　MPI(Message Passing Interface)消息传递接口是MPI论坛发布的一个库，而不是一门实现语言，支持C/C++/Fortran。是一种消息传递编

转载：http://blog.csdn.net/sandware/article/details/409234911.  AF_INET域socket通信过程典型的TCP/IP四层模型的通信过程。发送方、接收方依赖IP:Port来标识，即将本地的socket绑定到对应的IP端口上，发送数据时，指定对方的IP端口，经过Internet，可以根据此I

常规情况下，我们一般使用多副本技术来提高存储系统的可靠性，无论是结构化数据库存储 (如典型的 mysql)、文档型 Nosql 数据库存储 (mongodb ) 或者是常规的 blob 存储系统 (GFS、Hadoop) 等，无不如此。因为数据几乎可以称得上是企业生命力的核心，保障数据存储系统的可靠性对于任何企业来说都不是一件小事。那么，如何较为准确地去衡量集群数据的可靠性？如何进

一、 概述UNIX Domain Socket是在socket架构上发展起来的用于同一台主机的进程间通讯（IPC），它不需要经过网络协议栈，不需要打包拆包、计算校验和、维护序号和应答等，只是将应用层数据从一个进程拷贝到另一个进程。UNIX Domain Socket有SOCK_DGRAM或SOCK_STREAM两种工作模式，类似于UDP和TCP，但是面向消息的UNIX Domain S

转载：http://blog.jobbole.com/90811/无锁数据结构基于两方面——原子性操作以及内存访问控制方法。本文中我话题主要涉及原子性和原子性原语。在开始之前，我对大家表示感谢，谢谢你们对初识无锁数据结构的热爱。看到大家对无锁话题很感兴趣，我感到很开心。我计划依据学术概念将此做成一个系列，从基础到算法，同时以文本的形式展示 libcds 中的代码实现。但有些读者希望

系统调用比如 read()，默认就是阻塞的，你调用它之后，可能此时还没有数据发送过来，它就一直阻塞，直到从内核读到数据才返回。而 epoll 之所以为非阻塞是因为，它一直循环，直到某个连接已经将数据发送过来后才会去调用 read() ，因为此时内核区是有数据的，所以不会发生阻塞，这就是非阻塞。而同步异步这个要对比起来说。严谨来说，OS 层的 epoll 是同步非阻塞的，在系统调用中有与之相反的

针对海量的网络流量，转发性能是我们最关键的一个方面，那构建高性能的后台服务器有哪些关键的技术和需要注意的地方，今天邀请了后台开发同学童琳和郑胜利来和大家一起谈谈。一、引言随着互联网的高速发展，内容量的提升以及对内容智能的需求、云产业的快速突起，作为互联网的计算基石服务器的形态以及使用成为了炙手可热的话题，全球各家大型互联网公司都持续的在服务器平台上有非常大的动作，譬如f

转载： http://blog.csdn.net/a417930422/article/details/52585862为何要懂零拷贝原理？因为rocketmq存储核心使用的就是零拷贝原理。io读写的方式中断DMA中断方式中断方式的流程图如下：用户进程发起数据读取请求系统调度为该进程分配cpucpu向io控制器(ide,scsi)发送io请求

Linux top VIRT RES SHR SWAP DATA内存参数详解转载：http://blog.csdn.net/u011547375/article/details/9851455　　其实很早之前就想开博客，写一写码农几年自己积攒下来的知识与见解。看过很多文章有过很多感触，有些收获很值得梳理一下认真思考反思的。今天就先从基本的top开始吧，在网上看了很多关于top讲解内存参

在使用top命令的时候会看到这么一行：里面的各个值分别是什么意思呢？今天被问到这个问题，发现答的不是很清楚。果然啊，天天用最多的top命令都还没摸透。。。惭愧。。。于是就查了些资料：官方解释Cpu(s)表示的是cpu信息。各个值的意思是：us: user cpu time (or) % CPU time spent in user space

分布式哈希和一致性哈希是分布式存储和p2p网络中说的比较多的两个概念了。介绍的论文很多，这里做一个入门性质的介绍。　　分布式哈希(DHT)　　两个key point：每个节点只维护一部分路由；每个节点只存储一部分数据。从而实现整个网络中的寻址和存储。DHT只是一个概念，提出了这样一种网络模型。并且说明它是对分布式存储很有好处的。但具体怎么实现，并不是DHT的范畴。　　一致性

转载请说明出处：http://blog.csdn.net/cywosp/article/details/23397179    一致性哈希算法在1997年由麻省理工学院提出的一种分布式哈希（DHT）实现算法，设计目标是为了解决因特网中的热点(Hot spot)问题，初衷和CARP十分类似。一致性哈希修正了CARP使用的简 单哈希算法带来的问题，使得分布式哈希（DHT）可以在P2

基础知识思考整理 http://blog.csdn.net/aganlengzi/article/details/50996227互斥锁 mutex：在访问共享资源之前对进行加锁操作，在访问完成之后进行解锁操作。 加锁后，任何其他试图再次加锁的线程会被阻塞，直到当前进程解锁。 如果解锁时有一个以上的线程阻塞，那么所有该锁上的线程都被编程就绪状态， 第一个变为就绪

自旋锁可分为用在单核处理器上和用在多核处理器上。单核处理器：用在单核处理器上，又可分为两种：1.系统不支持内核抢占此时自旋锁什么也不做，确实也不需要做什么，因为单核处理器只有一个线程在执行，又不支持内核抢占，因此资源不可能会被其他的线程访问到。2.系统支持内核抢占这种情况下，自旋锁加锁仅仅是禁止了内核抢占，解锁则是启用了内核抢占。

针对IO，总是涉及到阻塞、非阻塞、异步、同步以及select/poll和epoll的一些描述，那么这些东西到底是什么，有什么差异？一般来讲一个IO分为两个阶段：等待数据到达把数据从内核空间拷贝到用户空间现在假设一个进程/线程A，试图进行一次IO操作。A发出IO请求，两种情况：  1）立即返回  2）由于数据未准备好，需要等待，让出CPU给别的线程，自