云存储
文章平均质量分 67
peter_cloud
这个作者很懒,什么都没留下…
展开
-
glusterfs 与 hdfs对比
glusterfs原创 2014-05-06 10:26:52 · 5486 阅读 · 0 评论 -
GlusterFS3.0新特性
蚊子今天上网,在glusterfs官方网站看到,glusterfs3.0版本在12月8号发布了,下面我们就来看看增加了那些新特性。1) Self-heal of open files 打开文件的自修复With this new feature GlusterFS can now self-heal replicated files even while they转载 2013-04-24 17:31:39 · 663 阅读 · 0 评论 -
Dynamo 简介
这个小文打算写成入门级的介绍,所以很多语言不追求准确性。本介绍参考 Amazon 的 Dynamo 论文。需要更详细更准确信息的同学请直接阅读原文。(原文地址http://s3.amazonaws.com/AllThingsDistributed/sosp/amazon-dynamo-sosp2007.pdf) 这篇论文本身没提出什么新的思想,正如论文中所说,贡献在于把非常多的技术结合到了一起,来转载 2013-01-15 12:21:33 · 1014 阅读 · 1 评论 -
存储云结构比较——Dynamo VS Bigtable
比较典型的云存储基础系统有Amazon公司的Dynamo系统与Google公司的Bigtable系统,这两种系统不但已经开始是商用(参见S3 服务和 Google App Engine服务),而且都公开了比较详细的实现论文(尤其dynamo系统论文格外详尽——可见Amazon公司的无私和自信)。它们各自实现架构迥异,存储特性不一,但都结构优美,技术上各有可称道的地方,可谓各有千秋,却又殊途同归。下转载 2013-01-15 12:18:32 · 725 阅读 · 0 评论 -
linux I/O 调优优化
echo 1024 > /sys/block/sda/queue/read_ahead_kbecho deadline > /sys/block/sda/queue/schedulerecho 1280000 > nr_requestsI/O 优化1 I/O 预先读请求的量(内核系统默认先响应读请求,所先响应的量可调): 查看 bl原创 2012-06-25 16:33:32 · 3475 阅读 · 0 评论 -
zecloud 云存设置关闭nfs
zecloud lvolume set myvol nfs.disable on原创 2012-08-23 18:09:54 · 680 阅读 · 0 评论 -
valgrind调试 zecloud
valgrind --tool=memcheck --leak-check=full --show-reachable=yes --track-origins=yes ./zefsd --debug -f /tmp/testeio-fuse.vol原创 2012-07-14 11:57:03 · 509 阅读 · 0 评论 -
关闭内核中的大内存管理
echo never> /sys/kernel/mm/redhat_transparent_hugepage/enabledecho never > /sys/kernel/mm/redhat_transparent_hugepage/defragecho no > /sys/kernel/mm/redhat_transparent_hugepage/khugepaged/defrag原创 2012-06-25 16:34:39 · 1178 阅读 · 0 评论 -
zecloud 大端口连接设置
zecloud lvolume set tvol server.allow-insecure on其中tvol是卷的名字原创 2012-06-11 22:17:04 · 934 阅读 · 1 评论 -
iozone对GlusterFS压力测试
./iozone -t 2 -i 0 -s 10M -r 512k -+w -n F test1 test2./iozone -t 1000 -i 0 -s 10M -r 128k -+w -n以下内容摘自: http://blog.csdn.net/lin_fs/article/details/7096808测试一个多月对iozone、fio有了解,也明白了一个道原创 2012-04-28 13:57:12 · 1705 阅读 · 0 评论 -
linux 下包括扩展属性的数据同步实现
1. 修改/etc/xinetd.d/rsync文件中的 disable = no 。2. 然后重启xinetd服务即可。然后在其它机器上执行rsync命令,比如: rsync -azAEX -e "ssh -p 5081" XXX.XXX.XXX.XXX:/data/testdir /tmp原创 2012-03-30 10:45:21 · 576 阅读 · 0 评论 -
attr/xattr.h 没有这个文件或目录
yum install libattr-devel原创 2012-03-12 23:47:32 · 2325 阅读 · 0 评论 -
Glusterfs全局统一命名空间
全局统一命名空间Glusterfs采用了全局统一命名空间设计,将磁盘和内存资源聚集成一个单一的虚拟存储池进行管理,并在此命名空间中使用NFS/CIFS等标准协议来访问应用数据。与其他分布式文件系统有所不同的是,GlusterFS中没有专用的元数据服务器,而是独特地采用无元数据服务的设计,取而代之使用算法来定位文件,元数据和数据没有分离而是一起存储。这使得数据访问完全并行化,从而实现真正的线性性转载 2012-02-21 17:51:50 · 671 阅读 · 0 评论 -
glusterfs nfs挂载
mount -o mountproto=tcp,vers=3 -t nfs 192.168.3.3:/testvol /mnt原创 2013-04-26 16:44:07 · 2358 阅读 · 0 评论 -
fuse多线程
高级开发(high-level) 多线程模式 如果在多线程运行的情况下,如果处理请求的一个线程出现阻塞但整个系统中所有可用的线程数量超过10时,则系统就会自动关闭线程,如果可用线程为0,系统就会自动创建线程来处理请求,在系统中请求的线程不会由于请求的阻塞而导致线程阻塞后,无线程处理来自文件系统的请求。 在运行高级模式开发,通过命令行进行设置(默认转载 2013-04-19 08:40:52 · 1734 阅读 · 0 评论 -
文件系统性能测试
1、衡量指标 IOPS:随机小I/O读写能力 带宽: 顺序大I/O连续读写能力2、性能关键点 顺序/随机读写(sequential/random) 目录操作:文件创建/删除/查找/更新 大量小文件读写(Lots of small files) 大文件读写(large file)3、其他指标 CPU占用率 IOW转载 2014-03-27 17:20:04 · 969 阅读 · 0 评论 -
FastDFS分布式文件系统点滴记录5 -- upload上传机制剖析1
FastDFS 文件上传机制,涉及到cient API、tracker、storage,所以这篇文章的思路是从client 执行upload 的流程说起,逐步深入到 tracker 、storage 的内部。fdfs_upload_file.c 是上传的一个客户端,通过调用api实现上传文件至FastDFS。首先看一下代码内容,fdfs_upload_file.转载 2014-03-11 15:40:33 · 1491 阅读 · 0 评论 -
FastDFS分布式文件系统点滴记录6 -- download下载机制剖析
关于下载,其实和上传文件很相似。这里我们暂时先不考虑nginx httpd的方式,只通过client api 方式与FastDFS 交互。首先,我们看fdfs_download_file.c ,这个文件下载文件的客户端例子,直接看71行: result = storage_download_file_to_file1( \ pTr转载 2014-03-11 15:50:49 · 791 阅读 · 0 评论 -
FastDFS分布式文件系统点滴记录5 -- upload上传机制剖析3
有了tracker 分析的基础,我们直接进入storage 的任务处理函数 int storage_deal_task(struct fast_task_info *pTask);storage_service.c 6473行:case STORAGE_PROTO_CMD_UPLOAD_FILE: result = storage_up转载 2014-03-11 15:48:00 · 1102 阅读 · 0 评论 -
FastDFS分布式文件系统点滴记录5 -- upload上传机制剖析2
首先分析下 tracker , tracker_service.c 3137行:int tracker_deal_task(struct fast_task_info *pTask)对TRACKER_PROTO_CMD_SERVICE_QUERY_STORE_WITHOUT_GROUP_ONE命令的处理是case TRACKER_PROTO_CMD_SERVIC转载 2014-03-11 15:42:22 · 810 阅读 · 0 评论 -
FastDFS分布式文件系统点滴记录4 -- tracker 、storage 入口分析
tracker 的入口在 fdfs_trackerd.c, 而 storage 的入口在fdfs_storaged.c.下面首先分析tracker的,我们从main 函数开始。 fdfs_trackerd.c 109 行: conf_filename = argv[1]; memset(bind_addr, 0, sizeof(b转载 2014-03-11 15:36:55 · 945 阅读 · 0 评论 -
FastDFS分布式文件系统点滴记录3 -- 网络模型、libevent框架使用
FastDFS v3.0 版本以后,使用到了libevent库来处理网络连接请求。 其实,FastDFS 中 tracker、storage 的网络架构基本一样。下面以tracker 为例子介绍。fdfs_trackerd.c 是 tracker 中main 函数的所在文件。fdfs_trackerd.c 137行: sock = s转载 2014-03-11 15:36:07 · 1440 阅读 · 0 评论 -
FastDFS分布式文件系统点滴记录2 -- 架构概述
FastDFS是一个开源的轻量级分布式文件系统,她对文件进行管理,功能包括:文件存储、文件同步、文件访问(文件上传、文件下载)等,解决了大容量存储和负载均衡的问题。特别适合以文件为载体的在线服务,如相册网站、视频网站等等。FastDFS服务端有两个角色:跟踪器(tracker)和存储节点(storage)。跟踪器主要做调度工作,在访问上起负载均衡的作用。Fast转载 2014-03-11 15:26:24 · 582 阅读 · 0 评论 -
FastDFS分布式文件系统点滴记录1 -- 目录
最近一直在研究FastDFS的架构,作为学习成果的一部分,准备利用接下来的一段时间把一些心得点滴记录下来,为FastDFS社区贡献点力量。当然,这里要感谢的是 FastDFS作者fishman,感谢他为我们带来了适合互联网公司的分布式存储解决方案,也希望更多的朋友参与到 FastDFS社区中来。 这篇blog首先作为开篇,准备梳理下思路,对FastDFS的架构剖析列个提纲,大转载 2014-03-11 15:22:37 · 737 阅读 · 0 评论 -
伽罗华域
GF(2m)域当m=8时,本原多项式为P(x) = x8 + x4 +x3 + x2 + 1 .这个很重要,因为一切化解都来源与此式。在伽罗华域中,加法等同于对应位异或,所以现在把α定义为P(x) = 0的根,即 α8+α4+α3+α2+1 = 0 即可以得到 α8=α4+α3+α2+1接着先给出下表付推导过程下面就按以下规则进行乘法运算 0转载 2013-06-28 09:30:15 · 1134 阅读 · 1 评论 -
gluster 删除数据的扩展属性
for i in `attr -lq .`; do setfattr -x trusted.$i .; done原创 2013-06-24 17:51:52 · 697 阅读 · 0 评论 -
各种分布式文件系统简介
常见的分布式文件系统有,GFS、HDFS、Lustre 、Ceph 、GridFS 、mogileFS、TFS、FastDFS等。各自适用于不同的领域。它们都不是系统级的分布式文件系统,而是应用级的分布式文件存储服务。Google学术论文,这是众多分布式文件系统的起源==================================Google File System转载 2013-06-18 15:01:20 · 914 阅读 · 0 评论 -
散列表设计
散列表设计(刘爱贵 - Aiguille.LIU)1、基本概念 散列表(Hash table,也叫哈希表),是根据关键码值(Key value)而直接进行访问的数据结构。也就是说,它通过把关键码值映射到表中一个位置来访问记录,以加快查找的速度。这个映射函数叫做散列函数,存放记录的数组叫做散列表。2、常用的构造散列函数的方法 散列函数能使对一个数据序列的访问过转载 2012-02-21 17:04:10 · 449 阅读 · 0 评论 -
GlusterFS集群文件系统研究
1. GlusterFS概述GlusterFS是Scale-Out存储解决方案Gluster的核心,它是一个开源的分布式文件系统,具有强大的横向扩展能力,通过扩展能够支持数PB存储容量和处理数千客户端。GlusterFS借助TCP/IP或InfiniBand RDMA网络将物理分布的存储资源聚集在一起,使用单一全局命名空间来管理数据。GlusterFS基于可堆叠的用户空间设计,可为各转载 2012-02-15 14:53:10 · 439 阅读 · 0 评论 -
Glusterfs Rebalance简析
Glusterfs RebalanceGlusterFS的哈希分布是以目录为基本单位的,文件的父目录利用扩展属性记录了子卷映射信息,子文件在父目录所属存储服务器中进行分布。由于文件目录事先保存了分布信息,因此新增节点不会影响现有文件存储分布,它将从此后的新创建目录开始参与存储分布调度。这种设计,新增节点不需要移动任何文件,但是负载均衡没有平滑处理,老节点负载较重。GlusterFS在设计中考虑转载 2012-02-21 12:36:10 · 526 阅读 · 0 评论 -
MapReduce Hold不住?
本文系统地介绍和分析比较了业界主流的Yahoo! S4、StreamBase和Borealis三种流式计算系统,希望读者能从这些系统的设计中领悟到不同场景下流式计算所要解决的关键问题。背景杨栋百度分布式高级研发工程师,从事Hypertable、Hadoop及流式计算的研究和开发。非实时计算几乎都基于MapReduce计算框架,但MapRe转载 2012-01-30 17:58:36 · 413 阅读 · 0 评论 -
淘宝Oceanbase云存储系统实践
通俗地讲,云计算就是把基础设施以服务的形式打包对外销售,它是一种商业模式,而其中的云存储是技术难点。可以从两个维度分析云存储系统的特性:功能和可扩展性,这是一个“鱼和熊掌”不容易兼得的问题。不同的数据规模,不同的事务和一致性要求,不同的系统故障容忍度,都可能导致不同的存储系统设计。国外的互联网巨头Amazon、Google、Microsoft、Yahoo都有各自的云存储系统,国内的淘宝也研发了自己转载 2012-01-30 17:57:44 · 1175 阅读 · 0 评论 -
myrinet介绍
Myrinet Myrinet 是一项经济高效、高性能的分包通信和交换技术,被广泛应用于工作站、PC、服务器、刀片服务器或单板计算机的互联集群。 它以一种经济的方式实现高性能以及高可用性。 Myri-10G Myri-10G 是 10 千兆位以太网与 HPC HPC 技术的集成体。 将 NIC 端口连接至 10 千兆位以太网交换机,即可实现高达每秒 9.8 千兆位的数据传输速度。转载 2012-01-09 15:44:44 · 1270 阅读 · 0 评论 -
安装GlusterFS服务器
GlusterFS是作为Ubuntu的10.10封装,因此我们就可以安装它,如下所示:sudo su aptitude install glusterfs-server安装完毕,输入以下命令glusterfs --version现在应该显示GlusterFS版本,您刚刚安装(在这种情况下,3.0.4):root@server1:~# glust转载 2012-01-09 12:05:27 · 754 阅读 · 0 评论 -
GlusterFS中的volume挂载
GlusterFS提供了最大的灵活性:你可以自由地用各种现在存在的协议输出存储卷,它支持GlusterFS自己的客户端,CIFS,NFS和WebDAV协议参考资料:http://hi.baidu.com/wongxuelei/blog/item/cd32e62e6bc16c434ec22696.html 官网有基于glusterfs,nfs,CIFS的volume挂载例子,前面在G转载 2012-01-09 11:03:11 · 920 阅读 · 0 评论 -
GlusterFS将与Hadoop兼融
大数据需要大文件系统,这就是开放源码的 GlusterFS 文件系统在即将发布的GlusterFS 3.3版本的设计目标。Gluster 项目在本周出了GlusterFS 3.3的第二个测试版本,最终发行版预计在今年年底前。新的发行版提供了与Apache Hadoop 的集成点,可以让Hadoop用户使用Gluster存储。对于Gluster,其文件系统和 Hadoop 的 HDFS (Had转载 2012-01-09 10:52:23 · 1820 阅读 · 1 评论 -
Hadoop文件系统(HDFS)快速安装与使用
准备3台机器,一台作为Namenode,命名为master,两台作为dataNode,命名为slave01, slave02在3台机器上都设置hadoop用户。设置hadoop用户从master到slave ssh不需要密码,设置方法参见“设置SSH服务器只采用密钥认证”一文。注意:(1)authorized_keys文件的访问权限应该设置为644,否则可能导致无密码登录失败。转载 2012-01-09 10:52:00 · 640 阅读 · 0 评论 -
Infiniband介绍
InfiniBand架构是一种支持多并发链接的“转换线缆”技术,在这种技术中,每种链接都可以达到2.5 Gbps的运行速度。这种架构在一个链接的时候速度是500 MB/秒,四个链接的时候速度是2 GB/秒,12个链接的时候速度可以达到6 GB /秒。 InfiniBand(20张)InfiniBand技术不是用于一般网络连接的,它的主要设计目的是针转载 2012-01-09 15:43:29 · 1555 阅读 · 0 评论 -
GlusterFS分析--来自互联网的资料
引言GlusterFS 是一个高层次的分布式文件系统解决方案。通过增加一个逻辑层,对上层使用者掩盖了下面的实现,使用者不用了解也不需知道,文件的存储形式、分布。内部实现是整合了许多存储块(server)通过Infiniband RDMA 或者Tcp/Ip 方式互联的一个并行的网络文件系统,这样的许多存储块可以通过许多廉价的x86 主机,通过网络搭建起来。其相对于传统NAS 、SAN、R转载 2012-01-09 15:33:01 · 984 阅读 · 0 评论 -
GlusterFS中的RAID
一直不了解RAID是什么概念,这两天简单看了一下,RAID是“Redundant Array of Independent Disks”的缩写,中文意思是独立冗余磁盘阵列,磁盘阵列中针对不同的应用使用的不同技术,称为RAID level,而每一level都代表着不同技术,目前业界公认的标准是RAID 0~RAID 5。 百度百科里有详细解释这里结合glusterfs的应用,说一下RAID0和R转载 2012-01-09 11:01:21 · 3074 阅读 · 0 评论