liuhong的专栏

工作方面，毫无疑问，今年是我毕业工作6年以来成长最大的一年。今年4月，京东到家与达达合并后，我顺其自然进入新达达公司工作，接下来的8个月左右，我的工作可以用逃避、痛苦、彷徨、奋进、主动几个关键字概括。公司合并前，我参与的业务各方面工作均有相关负责人跟进，业务运营负责人负责运营，及产品规划，业务指标主要由运营负责人制定和承担，产品经理跟进产品需求并将业务需求转化成系统需求，我主要负责系统设计

一直想为上次的事情总结点什么，一直觉得自己有很多的经验教训是可以总结的，但是总是替自己找借口，今天晚上终于下定决心写几条：1、  找合伙人很难，要找对的合伙人就难上加难，即时是的你的同学，朋友，即时看上去他的加入让团队看上去是多么地完美，记住也得磨合观察，而不要立即就认为是合适的。因为也可能是最不合适的。2、  除非自己很知根知底的人，记住，钱不要随便借，小心借出去容易，要回来连请黑社会收

强烈建议参阅链接：http://www.linezing.com/blog/?p=798#nav-1说白了，索引问题就是一个查找问题。。。数据库索引，是数据库管理系统中一个排序的数据结构，以协助快速查询、更新数据库表中数据。索引的实现通常使用B树及其变种B+树。在数据之外，数据库系统还维护着满足特定查找算法的数据结构，这些数据结构以某种方式引用（指向

先来先服务算法（FCFS），最短寻道时间优先算法（SSTF），扫描算法（SCAN），循环扫描算法（CSCAN）1、先来先服务算法（FCFS）这是一种比较简单的磁盘调度算法。它根据进程请求访问磁盘的先后次序进行调度。此算法的优点是公平、简单，且每个进程的请求都能依次得到处理，不会出现某一进程的请求长期得不到满足的情况。此算法由于未对寻道进行优化，在对磁盘的访问请求比较多的情况下，此算

1、技术领先不能保证就是赢家；2、当人们还没明白一个搜索按钮嵌入浏览器的价值的时候，yahoo已经向网景许诺优厚条件，让其在浏览器内嵌入yahoo的搜索按钮。3、目前国内几个大型互联网公司（百度，腾讯，360等）打架打得不可开交，其实早在90年代，美国大型it公司早已玩透了这样的游戏，微软与太阳，网景，美国在线等火拼得厉害；4、美国在线在技术行业可能不是领先者，但是在90年代就已经在赚

术业有专攻5.1.HDFS成也大文件 Hadoop主要处理的是大文件，从而HDFS设计的初衷也是存储大文件，及其计算过程中产生的中间文件，以满足mapreduce快速地读写文件的要求，当然前提是机房网络速度给力。为了满足需求，HDFS进行了如下设计：1.流式写文件，对于上传任何一个文件，Client向一台DN写数据块，再由DN向其他DN写数据块，而不是一个客户端

前言     1-3写到了hadoop的诞生，通过何种方式发展壮大，及其为什么没有被其他系统取代，之所以写这部分想梳理一下hadoop为什么不是别人而是由DC来完成，同时DC通过何种方式将自己的产品发展壮大，最后变得不可取代；     4写到了hadoop在国内的发展；5-6写到为什么没有一个可以解决所有问题的存储系统，及其HDFS的优点缺点，希望通过这部分梳理清楚在任何行业都没有

HDFS设计的初衷是存储大文件,如果单个DataNode有12块2T的硬盘,则有存储空间24T,如果每个块100M,则可存储251658,如果每个块50M,则可存储503316.DataNode会向NameNode进行两种类型的块报告:增量报告与全量报告,DataNode接收到块,或者删除块会立即向NM报告,这属于增量报告;全量报告周期性发生,定时将当前DN上所有数据块信息报告给NM.NM处理

HDFS块分配策略块分配策略流程图注：上图提到的远程机架与本地机架是相对于找到的第一个副本的目标节点来说。一个客户端a机器发起请求分配块请求，NN接收到请求后，执行如下块分配流程：1）   如果a不是一个DataNode，则在集群范围内随机选择一个节点作为目标节点，否则执行下面的2,3步骤；2）  判断a机器是否符合存储数据块的目标节点，如果符合，第一个块副本分

1.数据块恢复当某台机器上的一个DataNode进程down掉，HDFS为了保证文件的副本满足设定的副本数，会进行数据块的恢复操作。块恢复操作主要受两个参数影响：a）dfs.namenode.replication.work.multiplier.per.iteration  NameNode计算集群每个周期每个DataNode平均恢复的数据块数量；如果该参数配置得太小，则dfs.name

几年下来，前前后后接触过几个存储系统了，感觉接触多了，发现不同系统在设计的时候大都采用相似的理论，因此就梳理下。  GlusterFSSwiftCassandra路由算法普通哈希算法一致性哈希算法一致性哈希算法数据恢复方式选举算法，选出一个源节点

堆内存设置原理JVM堆内存分为2块：Permanent Space 和 Heap Space。Permanent 即 持久代（Permanent Generation），主要存放的是Java类定义信息，与垃圾收集器要收集的Java对象关系不大。Heap = { Old + NEW = {Eden, from, to} }，Old 即 年老代（Old Generation

ZooKeeper是一个高可用的分布式数据管理与系统协调框架。基于对Paxos算法的实现，使该框架保证了分布式环境中数据的强一致性，也正是基于这样的特性，使得ZooKeeper解决很多分布式问题。网上对ZK的应用场景也有不少介绍，本文将结合作者身边的项目例子，系统地对ZK的应用场景进行一个分门归类的介绍。值得注意的是，ZK并非天生就是为这些应用场景设计的，都是后来众多开发者根据其框架的特性

Client与DataNode流程分析1.写文件流程 1）  Client执行create方法，调用NameNode的create方法，同时在Client端启动datastream线程；2）  Client调用write方法，write不断地写入字节，写入字节的时候，以chunk大小作为生成校验和的单位；当写的字节数量达到一个包大小，就将这些字节封装成一个包，并加入dataqu

测试文件大小：4.5GB；第一次将该文件传输到另外一台机器：Device:         rrqm/s   wrqm/s     r/s     w/s    rkB/s    wkB/s avgrq-sz avgqu-sz   await  svctm  %utilsda               0.00     0.00    0.01    0.00     0

package cache;import java.io.File;import java.io.FileInputStream;import java.io.FileNotFoundException;import java.io.FileOutputStream;import java.io.IOException;import java.io.InputStream;imp

1.前言1.1背景    自从hadoop2版本开始，社区引入了NameNode高可用方案。NameNode主从节点间需要同步操作日志来达到主从节点元数据一致。最初业界均通过NFS来实现日志同步，大家之所以选择NFS，一方面因为可以很方便地实现数据共享，另外一方面因为NFS已经发展20多年，已经相对稳定成熟。虽然如此，NFS也有缺点不能满足HDFS的在线存储业务：网络单点及其存储节点单

1.前言1.1背景    自从hadoop2版本开始，社区引入了NameNode高可用方案。NameNode主从节点间需要同步操作日志来达到主从节点元数据一致。最初业界均通过NFS来实现日志同步，大家之所以选择NFS，一方面因为可以很方便地实现数据共享，另外一方面因为NFS已经发展20多年，已经相对稳定成熟。虽然如此，NFS也有缺点不能满足HDFS的在线存储业务：网络单点及其存储节点单

分布式文件系统很多，包括GFS，HDFS，淘宝开源的TFS，Tencent用于相册存储的TFS (Tencent FS，为了便于区别，后续称为QFS)，以及Facebook Haystack。其中，TFS，QFS以及Haystack需要解决的问题以及架构都很类似，这三个文件系统称为Blob FS (Blob File System)。本文从分布式架构的角度对三种典型的文件系统进行对比。

OSDI 10中有一篇Facebook图片存储系统Haystack的论文，名称为”Finding a needle in Haystack: Facebook’s photo storage”。从这篇论文可以看出，数据量大的应用有时也并不复杂。我们先给Facebook图片存储系统算一笔账。Facebook目前存储了260 billion图片，总大小为20PB，通过计算可以得出每张图片的平均