tyzhaoqi2004的专栏

转载 从swift-init main start看swift源代码

本文转载自Fuli_Wang的从swift-init main start看swift源代码:http://qing.weibo.com/1841240661/6dbf1a553300164p.html从swift-init main start看swift源代码fe-rest：从swift-init main start 开始看swift代码s

原创 VirtualBox下安装Openstack

VirtualBox下安装Openstack安装部署整体架构。虚拟机配置主机：windows 7虚拟机：VirtualBox 4安装镜像：Ubuntu 12.04 ISO安装步骤：1.安装配置VirtualBoxopen File → Preferences → Network tab添加 host-only netwok v

原创 事务型系统由sql迁移到nosql问题总结

场景：业务系统：需要保证高一致性的交易系统nosql数据库：简单的key value型数据库，用hash实现的key value。在这样的场景下通常会面临的问题如下：1、表中有多个索引的问题。例如表 t_acct(a,b,c) 索引为a，b。业务系统会以a b为key做查询，也会对b进行修改。解决这样的问题是把表进行拆分为,存入key value数据库时，拆分为两条数据

原创 c++中stl vector的时间复杂度

vector管理内存的方式是内存不够用时，就分配capacity大小的内存，每次重新分配内存，都要copy之前放入的元素，capacity为已经分配的内存。例如：push_back n个int元素，n为2的幂次加1元素序号     copy元素     capacity

转载 用 Hadoop 进行分布式数据处理，第 1 部分: 入门

尽管 Hadoop 是一些大型搜索引擎数据缩减功能的核心部分，但是它实际上是一个分布式数据处理框架。搜索引擎需要收集数据，而且是数量极大的数据。作为分布式框架，Hadoop 让许多应用程序能够受益于并行数据处理。本文并不打算介绍 Hadoop 及其架构，而是演示一个简单的

原创 openssl实现md5加rsa签名

RSA 的安全性　　RSA的安全性依赖于大数分解，但是否等同于大数分解一直未能得到理论上的证明，因为没有证明破解 RSA就一定需要作大数分解。假设存在一种无须分解大数的算法，那它肯定可以修改成为大数分解算法。目前， RSA 的一些变种算法已被证明等价于大数分解。不管怎

原创 kfs代码研究（写操作流程图）

转载 又一个NoSQL知识清单

原文：http://blog.nosqlfan.com/html/1647.html下面介绍的一篇长文，对NoSQL的各个方面做了系统深入的介绍，提纲明晰，知识量大，非常值得一看。下面是文章索引：1 Core NoSQL1.1 Amazon’s Dynam

转载 kfs代码研究（磁盘异步IO）

磁盘IO在[qcdio/qcdiskqueue.h]和[qcdio/qcdiskqueue.cc]中实现，基于线程池和消费者／生产者模型。在这两个源文件中实现了基于成块读写的异步磁盘IO。[qcdio/qcdiskqueue.cpp] class QCDiskQueue::Q

原创 kfs代码研究（七、网络部分）

与网络异步IO关联的类有5个：[libkfsIO/NetManager.h] clsss NetManager；[libkfsio/NetConnection.h] class NetConnection；[libkfsio/NetConnection.h] clas

原创 kfs代码研究（六、ChunkManager分析）

ChunkManager.cc：ChunkManager主要是对chunk操作的具体实现。ChunkManager::WriteChunk：1、计算要写的数据长度+chunk已经使用的量是否超过了一个chunk的大小，如果超过则截断2、如果要写入的长度大于64k，

原创 kfs代码研究（五、chunk server处理流程）

ChunkServer_main.cc:这个是chunkserver的主函数，处理流程如下1、computeMD5（）计算二进制文件的md5值2、gChunkServer.Init()初始化ChunkServer对象，主要是设置ip和端口3、gChunkManag

原创 kfs代码研究（四、LayoutManager分析）

LayoutManager.cc:介绍几个主要的函数LayoutManager::AddNewServer：添加新chunk server到chunk server的数组中1、如果发现chunkserver数组中和新加入到server相同，调用ServerDown

原创 kfs代码研究（三、meta server具体消息处理）

Request.cc:这个文件实现了每个命令具体的操作ParseCommand：根据命令字查找处理函数parseHandlerLookup、parseHandlerLookupPath、parseHandlerCreate、parseHandlerRemove、par

原创 kfs代码研究（二、meta server处理流程）

二、meta server处理流程Metaserver_main.cc：这个就是metaserver的main函数所在的文件，main函数在读取输入参数和配置文件并且初始化日志模块后，就进入了kfs_startup函数，这个函数就是meta server的启动过程，位置在

原创 kfs代码研究(一、kfs代码目录结构)

一、kfs代码目录结构src目录下包含cc、java、python几个文件夹，其中cc文件夹是kfs的主要实现部分和一些小工具，包括客户端等；java和python文件夹是kfs客户端的java和python实现版本，这里主要分析cc文件夹中的代码。chuck：chuck