2011年05月_anghlq

原创云计算现状

海量数据处理搜索，电子商务平台，拥有海量用户的UGC平台，其提供的服务涉及的数据，还是运营产生的数据都是海量的。通过一个个的水平/垂直切割+分布式服务的构设来处理。有几大不足构建成本高每个应用都要独立重新设计，开发，测试。重用性非常低运营成本高海量应用，运营一直是很重要的。没有统一的方案，质量不一的产品都会导致运营的差别，运营工具的开发量也增大质量无法保证不同的团队技术背景和磨合团队不一样，无法保证质量。因此，出现了平台化和架构

2011-05-30 23:47:00 1096

转载开源分布式文件系统FastDFS和MogileFS - [Linux]

http://lovewo2go.blogbus.com/logs/36465321.html FastDFS是一个开源的轻量级分布式文件系统，她对文件进行管理，功能包括：文件存储、文件同步、文件访问（文件上传、文件下载）等，解决了大容量存储和负载均衡的问题。特别适合以文件为载体的在线服务，如相册网站、视频网站等等。 FastDFS服务端有两个角色：跟踪器（tracker）和存储节点（storage）。跟踪器主要做调度工作，在访问上起负载均衡的作

2011-05-30 17:29:00 1185

原创分布式算法 Consistent Hashing

对于水平划分的分布式应用中，我们需要一个一致性的算法把业务需求均衡的分发到后台机器上。 hash取余 根据 id%machine_count 来获取机器号，id可以是用户id,crc算的某段数据或名等（要求散列性好即可） <

2011-05-30 12:09:00 805

原创云计算管理浅析

云计算，简单点理解就是以一个资源池的方式，弹性的提供可靠的计算，存储资源。呈现给使用者的界面不再是具体的哪个PC或几台PC，而是一个统一的界面，需要多少资源等。云计算的划分云服务上划分主要从服务包装程度上划分，包括了SAAS, PAAS, IAAS。前两者都是包装的程度要高一些。云计算的应用划分 i. 集群计算，代表有hadoop，适用于那些大型计算类的数据挖掘，海量数据处理等。 ii. 云存储，代表有hdfs, swift iii. 提供弹性的计算单元服务，

2011-05-29 23:06:00 1031

原创云计算中虚拟化的意义

本文从个人角度上分析虚拟化的意义1. 虚拟化对成本的影响A. 节约采购成本：提高PC的CPU，内存，硬盘和网络使用效率，同时降低了电力消耗B. 节约了维护的成本： i. PC少了，维护工作自然少了 ii. 集中化的管理,减轻维护人员工作压力 iii. 可以弹性的资源调配2. 虚拟化前的资源使用分析下面场景是最直观的资源闲置为了保证服务的持续性，很多应用要求有主备，所有的备机是闲置的测试服和开发机，只有测试需要或者编译时会使用。很多IT公司的服务器都是根据年初预算提前采购，如果项

2011-05-28 14:49:00 2929

转载构师接龙孙立VS. 孙朝晖

孙立：你是如何在架构层面，提高开发人员开发效率的？比如通过合理的分层，不同层安排不同能力的开发人员。 孙朝晖：首先孙立老师已经谈到了这个问题的两个核心，第一是合理的分层，第二是让不同能力层次的队伍有机组合。对于分层，具体到我们的技术体系，可以清晰地分成四个层次，对应四个技术层次，分别是：前端（JavaScript开发）、Web应用（PHP开发）、中间件（Java开发）和通信与管理基础（C开发）。各层有独立的团队，开发人员专注于本层次的技术发展，各层次的开发团队Leader每日进行晨

2011-05-27 00:55:00 1143

转载 iSCSI

Internet 小型计算机系统接口（iSCSI）是一种基于 TCP/IP 的协议，用来建立和管理 IP 存储设备、主机和客户机等之间的相互连接，并创建存储区域网络（SAN）。SAN 使得 SCSI 协议应用于高速数据传输网络成为可能，这种传输以数据块级别（block-level）在多个数据存储网络间进行。　　SCSI 结构基于客户/服务器模式，其通常应用环境是：设备互相靠近，并且这些设备由 SCSI 总线连接。iSCSI 的主要功能是在 TCP/IP 网络上的主机系统（启动器 initiato

2011-05-25 17:46:00 1420

转载存储的分类

存储分类根据服务器类型分为：封闭系统的存储和开放系统的存储，封闭系统主要指大型机，AS400等服务器，开放系统指基于包括Windows、UNIX、Linux等操作系统的服务器；开放系统的存储分为：内置存储和外挂存储；--》开放系统的外挂存储根据连接的方式分为：直连式存储（Direct-Attached Storage，简称DAS）和网络化存储（Fabric-Attached Storage，简称FAS）； --》开放系统的网络化存储根据传输协议又分为：网络接入存储（Network-Atta

2011-05-25 16:52:00 1032

原创 Xen新特性

4.0 为了增强主机层面的性能和可扩展性，新的Xen 4.0虚拟机管理程序现在横跨主机服务器上的128(之前64)个物理处理器，最多可以处理1TB的物理主系统内存。在访客环境中，基于Xen 4.0运行的虚拟机现在可以分配给多达128个虚拟处理器/VCPU(不过虚拟机方面的内存容量并不清楚)。 Xen4.0性能上的提升分为两大类，第一类是对高带宽消耗的硬件进行了性能上的优化,比如： 1. 普通PCI设备：通过优化对Intel VT-d和AMD IOMMU（I/O

2011-05-25 15:47:00 1770

原创 Convirture 被管理端机器KVM解决方案的依赖的软件列表

ssh（SSH: Secure Shell Protocol）　　安全外壳协议（SSH）是一种在不安全网络上提供安全远程登录及其它安全网络服务的协议。KVMkernel virtual module,KVM最大的好处就在于它是与Linux内核集成的。作为开源的虚拟化技术，对比Xen和KVM可以看到，Xen以6个无与伦比的优势领先：更好的可用资源（流行度）、平台支持（支持更老的CPU）、可管理性、实施、动态迁移和性能基准。可管理性：EMA在2009年度针对虚拟系统管理的研究结果表明：对于83%的企

2011-05-25 14:25:00 1635

转载 Xen 和 KVM 的性能对比

Xen 和 KVM 的性能对比 2009年09月23日 | 标签: kvm, virtualization, xen | 作者：vpsee 最近出现提供 KVM/Qemu VPS 的服务商让 VPSee 有点惊讶，印象当中 KVM 还是一个很新的项目，还远没有达到成熟应用的工业标准，现在已经看到有人/公司开始提供基于 KVM 的 VPS 了，KVM 在众多重量级厂商的强力推动下果然发展很快。2008年9月 RedHat 宣布收购 KVM 老家 Qumranet

2011-05-25 11:43:00 5379 2

转载全虚拟化和半虚拟化

全虚拟化 　　全虚拟化(Full virtualization), 也称为原始虚拟化技术, 是另一种虚拟化方法. 该模型使用虚拟机协调客户操作系统和原始硬件(见图2). 这里"协调"是一个关键词, 因为VMM在客户操作系统和裸硬件之间用于工作协调. 一些受保护的指令必须由Hypervisor(虚拟机管理程序)来捕获和处理. 因为操作系统是通过Hypervisor来分享底层硬件. 　　图2. 全虚拟化: 使用Hypervisor分享底层硬件 　　全虚拟

2011-05-25 11:42:00 5572 1

原创上班2

今天上班第二天，不巧被拉去培训了一整天。还好还是做了一些事情。 VS2010搞定了。 本来想重新架设一套convirture，后来同事告诉机房搭建好了，干脆直接拿来体验了。 KVM支持NFS，通过NFS方式来实现计算和存储的异构化。 KVM支持相同存储路径下的动态迁移(NFS,不过最新消息KVM支持块迁移，不再需要有相同的网络存储了)。中间过程会网络中断1，2秒。 Convirture相当于kv

2011-05-24 23:30:00 885 1

原创回归海口，第一天上班。

今天第一天在海口上班。 骑着自行车上班感觉又回到了高中时代。虽然不时跟汽车抢公路，但是没有怎么感觉到尾气，海口的空气比上海好的太多了。海口骑车上班的人很多，龙昆路上熙熙攘攘的，相当热闹。 到了办公室，体验了一下海口商业圈附近的办公楼环境，感觉朴素了很多很多…… 可能公司的流动性不高，网管没有预先为新员工准备好电脑，公司也没有共享文件夹供放常用软件，软件也需要自己去找。可能跟海口整体环境的慢节奏也有关系。

2011-05-23 23:09:00 1974

转载日志文件系统

文件系统是用来管理和组织保存在磁盘驱动器上的数据的系统软件，其实现了数据完整性的保证，也就是保证写入磁盘的数据和随后读出的内容的一致性。除了保存以文件方式存储的数据以外，一个文件系统同样存储和管理关于文件和文件系统自身的一些重要信息(例如：日期时间、属主、访问权限、文件大小和存储位置等等)。这些信息通常被称为元数据(metadata)。 由于为了避免磁盘访问瓶颈效应，一般文件系统大都以异步方式工作，因此如果磁盘操作被突然中断可能导致数据被丢失。例如如果出现这种情况：如果当你处

2011-05-17 16:25:00 2167

转载新一代 Linux 文件系统 btrfs 简介及ext4文件系统介绍

Btrfs 简介 文件系统似乎是内核中比较稳定的部分，多年来，人们一直使用 ext2/3，ext 文件系统以其卓越的稳定性成为了事实上的 Linux 标准文件系统。近年来 ext2/3 暴露出了一些扩展性问题，于是便催生了 ext4 。在 2008 年发布的 Linux2.6.19 内核中集成了 ext4 的 dev 版本。 2.6.28 内核发布时，ext4 结束了开发版，开始接受用户的使用。似乎 ext 就将成为 Linux 文件系统的代名词。然而当您阅读很多有关 ex

2011-05-17 15:21:00 3504

转载 ZFS

Solaris 10 最新版：使用ZFS的十条理由 - ZFS特性介绍上个月，Sun Microsystems公司正式发布ZFS（Zettabyte File System）文件系统。ZFS是第一个128位的文件系统，同时ZFS又被Sun Microsystems称作史上最后一个文件系统。因为这个文件系统含有多项创新技术，不仅成功地解决现有文件系统的问题和陋习，而且前瞻性地考量了未来对存储空间的需求，单个文件系统可以达到256 quadrillion（264） Zettabytes（221）

2011-05-17 15:11:00 6369

转载 [转]Twitter系统结构分析

解剖Twitter 【1】万事开头易解剖Twitter 【2】三段论解剖Twitter 【3】Cache == Cash解剖Twitter 【4】抗洪需要隔离解剖Twitter 【5】数据流与控制流解剖Twitter【6】流量洪峰与云计算解剖Twitter 【7】作为一种进步的不彻底解剖Twitter 【8】得过不且过解剖Twitter 【9】结语 时常听到“浮躁”这个词，批评现代人不求甚解，缺乏严谨踏实的作风。这种批评有狭隘之嫌。每代人所处的环境不同，面临的问题不同，所以逐渐养成一种风气，

2011-05-12 15:27:00 1274

ang639