云存储
文章平均质量分 81
liuhong1123
对技术始终保持着强烈的好奇心目前致力于HDFS的研究与改造之前研究过openstackGlusterFS等存储系统
展开
-
mogilefs安装配置指南
检查某个模块是否在默认路径下:perl -e 'use SOAP::Lite;'mogdbsetup --dbhost=localhost --dbname=mogilefs --dbuser=mogile --dbpass=mogile_db_password --dbrootpass=cd360buy--dbhost=localhost --dbname=mogilefs --原创 2012-02-16 20:06:17 · 1563 阅读 · 0 评论 -
云存储产品发展路线
1)路线:私有云(自己用)-------> 混合云(+合作商家) ---------->公有云(普通用户、企业)2)存储项目要降低硬件投入成本,单位存储容量要跟业界对比,自行研发投入成本要低于业界常平均标准3)上传文件 scan 查毒,synmantec;4)上传文件的合法性,对黄色文件等的审查,尤其是分享、外链(一些云存储公司内部会安排专人负责人工审查,可借鉴)5)文件双击就能打原创 2012-02-21 11:27:06 · 806 阅读 · 0 评论 -
底层文件系统性能对比
最近在调研底层文件系统,现将测试结果发布出来,希望对正在进行这方便的工作的同学能有帮助:操作大小数量EXT3EXT4XFSReiserfs创建文件夹 1000014.794440984714.805275917115原创 2012-04-05 23:06:08 · 1481 阅读 · 0 评论 -
HDFS 单点改造方案对比
HDFS 单点改造方案对比1背景目前,HDFS集群的架构包括了单个Name Node和若干个DataNode。Name Node负责两方面的事情:一方面是存储和管理整个命名空间,包括创建、修改、删除和列举文件目录等文件系统级别的操作;另一方面是管理Data Node和文件块。Data Node主要负责文件块的持久化存储和远程访问。1.1命名空间管理HDFS的命名空间包含目录原创 2012-08-09 23:04:20 · 2741 阅读 · 1 评论 -
Amazon S3功能分析
对外提供功能:1、基本功能:1)能够读,写,删除1B-5TB大小的数据,单次请求可以删除1000个对象;2)对开发者提供REST,SOAP协议;下载默认协议为http,如果使用 BitTorrent ,费用更低;2、桶:1)一次可以创建100一个桶;2)桶有一定的命名规则;3)支持的操作:创建,删除,元数据,list;4)list操作:一次list的原创 2012-10-29 23:03:30 · 2030 阅读 · 0 评论 -
分布式存储系统(GlusterFS,Swift,Cassandra)设计对比
几年下来,前前后后接触过几个存储系统了,感觉接触多了,发现不同系统在设计的时候大都采用相似的理论,因此就梳理下。 GlusterFSSwiftCassandra路由算法普通哈希算法一致性哈希算法一致性哈希算法数据恢复方式选举算法,选出一个源节点原创 2013-10-17 13:13:10 · 7225 阅读 · 3 评论