- 博客(14)
- 资源 (6)
- 收藏
- 关注
原创 关于大数据时代传统商业存储的思考: 中心存储 VS 分布式存储
传统的商业存储,诞生于大型机,小型机时代。那时候将所有的硬盘集中的放到几个机架上,大型机通过光纤,ISCSI等高速连接到存储系统上。存储系统需要保证高并发,高IO读写速度,数据冗余备份等保护。 现在x86服务器,尤其是Google这种互联网公司都是通过廉价的硬件组装成高大上的集群,分布式文件系统(GFS,HDFS),各种基于内存的系统(memcached, GemFire, RAMCloud),它们都是通过相对廉价的硬件来构建了高并发,高读写速度,高可靠性(虽然每个节点有很高的故障率,但是集群可以
2014-03-28 16:39:21 16721
原创 关于你们所谓的网络聚合,能不能留着原文衔接?
前天一篇文章《RAMCloud:内存云存储的内存分配机制》被推荐到首页:今天Google一下,发现这篇文章通过关键字 RAMCloud + 内存分配机制 发现博文在第一个出现,赞一个Google。接着用百度搜索了一下同样的关键字,发现原文衔接在第一页完全找不到,找到的都是一堆所谓的网络博客聚合网站:第一个tui'cool还好,最起码标注了原文衔接,但是一个所谓的 核心网络的家伙,完全拷贝了我整站的
2014-03-28 10:47:10 15584 2
原创 RAMCloud:内存云存储的内存分配机制
闪存速度的确就是现在存储系统的极限吗?现在有需要基于内存的数据库,比如Redis,TimesTen。也不得不提缓存系统的极佳实践memcached。spark也把操作的中间数据全都放入到内存中,避免了Hadoop实时性和可用性差的问题,有可能对Hadoop的生态圈产生深远影响。spark已经于2014年2月27日正式成为Apache基金会的顶级项目了。 RAMCloud,是一个完全使用DRAM的存储系统,它的所有数据都保存到内存中。当然了为了故障恢复RAMCloud会将日志和数据的备份持久化到
2014-03-23 21:02:38 30104 20
原创 RabbitMQ消息队列(九):Publisher的消息确认机制
有没有一种机制能保证Publisher能够感知它的Message有没有被处理的?答案肯定的。唯一能够保证消息不会丢失的方式是利用事务机制 -- 令 channel 处于 transactional 模式、向其 publish 消息、执行 commit 动作。在这种方式下,事务机制会带来大量的多余开销,并会导致吞吐量下降 250% 。为了补救事务带来的问题,引入了 confirmation 机制(即 Publisher Confirm)。 为了使能 confirm 机制,client 首先要发送
2014-03-20 13:28:38 57716 9
翻译 Douglas Adams - 3 Rules That Describe Our Reactions To Technologies 科技影响生活的三个规律
Chris Dixon披露了Douglas的非常有意思的一句关于科技以令人吃惊的方式在改变着世界,并且推动了世界的不断前行的名言 在你出生时你会感觉世界的一切事物都是普通的,同时你也感觉世界的运转方式也非常自然。 在你15岁到35岁的一切新生事物对你来说都是新的,革命性的。你也很可能在它们中获得了一份工作。 在你35岁之后,你会感觉新生事物是那么的反自然。现在你头脑中可能会浮现出:从马到汽车,索引卡到在线搜索,PC到移动设备,web到app,门户网站到实时通信,牛顿到爱因斯坦,
2014-03-19 22:15:18 6090
原创 并发编程(四):也谈谈数据库的锁机制
各种大型数据库所采用的锁的基本理论是一致的,但在具体实现上各有差别。 SQL Server更强调由系统来管理锁。在用户有SQL请求时,系统分析请求,自动在满足锁定条件和系统性能之间为数据库加上适当的锁,同时系统在运行期间常常自动进行优化处理,实行动态加锁。 SQLite采用粗放型的锁。当一个连接要写数据库,所有其它的连接被锁住,直到写连接结束了它的事务。SQLite有一个加锁表,来帮助不同的写数据库都能够在最后一刻再加锁,以保证最大的并发性。 MySQL数据库由于其自身架构的特点
2014-03-19 14:40:08 14330
原创 欢迎进入我的个人博客 anzhan.me
CSDN的博客依旧会更新,但是还是专注于技术。个人的博客 http://anzhan.me 不单单会同步csdn的技术文章,还会有个人的更多私人的分享,包括旅行日记。欢迎各位朋友经常去看看,大家有私人blog的私信交换衔接吧。
2014-03-16 21:00:25 5327 2
原创 今日成为CSDN认证专家
认证时写的申请材料: 程序猿一枚毕业于南开工作于上海。喜欢读书,喜欢跑步,激情似火,心静如水。 喜欢编程,喜欢寻根问底各种技术,喜欢在各种新技术中汲取营养。 喜欢分享,因此以一些高质量的博文来回报各位可爱可敬的程序猿们。 从2013年12月开博3个月,共发表博文43篇,访问量接近20万,多篇文章被推荐到首页和边栏的推荐文章;创建了专栏《Linux调试技巧》,收录博文7篇,有4万多的访问量;专栏《RabbitMQ从入门到精通》,收录博文8篇,有近2万的访
2014-03-14 17:49:45 6637 3
原创 存储那些事儿(五):BTRFS文件系统之Btree结构详解
Btree数据结构可以说是BTRFS文件系统的基础。它提供了一个通用的方式去存储不同的数据类型。它仅仅存储3个数据类型:key, item和block header。 btrfs_header的定义如下:struct btrfs_header { u8 csum[32]; u8 fsid[16]; __le64 blocknr; __le64 flags;
2014-03-13 20:06:02 11088 6
原创 Linux Debugging(七): 使用反汇编理解动态库函数调用方式GOT/PLT
本文主要讲解动态库函数的地址是如何在运行时被定位的。首先介绍一下PIC和Relocatable的动态库的区别。然后讲解一下GOT和PLT的理论知识。GOT是Global Offset Table,是保存库函数地址的区域。程序运行时,库函数的地址会设置到GOT中。由于动态库的函数是在使用时才被加载,因此刚开始GOT表是空的。地址的设置就涉及到了PLT,Procedure Linkage Table,它包含了一些代码以调用库函数,它可以被理解成一系列的小函数,这些小函数的数量其实就是库函数的被使用到的函数的数量
2014-03-06 18:46:50 16770 2
原创 Linux Debugging(六): 动态库注入、ltrace、strace、Valgrind
实际上,Linux的调试方法非常多,针对不同的问题,不同的场景,不同的应用,都有不同的方法。很难去概括。本篇文章主要涉及本专栏还没有涵盖,但是的确有很重要的方法。本文主要包括动态库注入调试;使用ltrace命令处理动态库的调试;使用strace调试系统调用的问题;Valgrind的简要介绍。
2014-03-06 11:20:23 13606 2
原创 存储那些事儿(四):传统商业存储融入云计算之路
一年前开始学习Hadoop。Hadoop, 大数据的事实标准,被Facebook, Yahoo,eBay,taobao,baidu广泛应用。Hadoop本身很复杂,包含了很多子项目,不同的应用场景催生了不同的子项目。 最近要做OpenStack的项目,开始学习OpenStack。也反思了一下我现在所从事的行业:企业存储,路在何方? IT的技术发展可以说是日新月异。在人们
2014-03-05 15:59:33 6744 2
原创 存储那些事儿(三):OpenStack的块存储Cinder与商业存储的融合
OpenStack是一个美国国家航空航天局和Rackspace合作研发的云端运算软件,以Apache许可证授权,并且是一个自由软件和开放源代码项目。OpenStack是IaaS(基础设施即服务)软件,让任何人都可以自行建立和提供云端运算服务。此外,OpenStack也用作建立防火墙内的“私有云”(Private Cloud),提供机构或企业内各部门共享资源。 Cinder提供了OpenStack的Block Service(块服务)。类似于 Amazon 的 EBS 块存储服务,OpenS
2014-03-04 18:03:25 11434 5
原创 存储那些事儿(二): 下一代Linux文件系统BTRFS简介
BTRFS,通常念成 Butter FS,Better FS 或B-tree FS。下一代的Linux文件系统。 它基于写时拷贝(copy-on-write),支持高效的snapshot和clone。它使用b-tree作为存储的数据结构。在BTRFS项目主页上对自己是这么描述的:"一个新的针对Linux的写时复制文件系统,致力于实施高级的功能,同时关注容错、修复和管理方便性。" 它有哪些高级功能呢?下面的feature来自BTRFS的项目主页:http://btrfs.wiki.kerne
2014-03-03 14:26:32 10553 1
Linux Debugging: coredump 分析的材料
2014-01-27
Linux Debugging: coredump 分析入门的材料
2014-01-27
局域网活动主机的C++实现
2009-03-08
常见的端口扫描的C++实现
2009-03-08
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人