2016年10月_beginning1126

10月 04月

原创 zookeeper的应用

zookeeper的应用上一篇文章《分布式系统---分布式一致性协议》http://blog.csdn.net/beginning1126/article/details/52901547中，主要阐述了paxos和zab协议，阐明zookeeper的工作原理。下面主要来聊聊zookeeper在实际生产环境中，能帮助我们做哪些事情。zookeeper特性目前很多大型的开源项目都在使用

2016-10-28 17:10:48 1028

原创分布式系统---分布式一致性协议

两阶段提交协议三阶段提交协议Paxos算法zookeeper一致性协议：zab

2016-10-25 13:07:21 2279

原创 cgroup 详解

cgroup：对进程进行分组，在对分组整体进行资源的分配和控制概念task：一个进程hierarchy：层级cgroup形成树形结构，每个节点都是一个进程组，子节点是父节点进程组的子集，并继承父节点属性，根部节点为root group（为系统所有进程）进程创建子进程，默认该子进程与父进程同处于同一个进程组中，但是可以随意挪动子进程所处的cgroup一个进程不同处于同一个层级上的

2016-10-21 11:25:52 5950

原创 hadoop---hdfs

hdfshdfs概念block类似于unix文件系统，hdfs也有block的概念，默认是128MB，但是和unix文件系统不同的是，1个1MB的文件，不会占用一个block的全部大小，仍然只占用1MB空间。block的用途：一个大文件会被分割为多个block，这样一个大文件如果在单机存储不下，可以分割成小的block分若干台机器存储每个block大小相同，存储管理会简

2016-10-18 15:03:51 594

原创 hadoop---概述

记得几年前，研究过一段时间hadoop，当时研究的还很浅显，理解也不深入，准备接下来的一个月，结合这几年的工作经验，重新梳理一下hadoop目前能想到的hadoop知识点包括：环境搭建（略过）eclipse maven环境搭建（略过）hdfs，系统架构、常用命令、本地api接口、远程api接口、源码分析mapreducehbasezookeeper其它相关项目接下来会根据以

2016-10-18 11:41:06 369