文件系统:存储&缓存&分发
唐三角
如果我们在错误的方向上,将不会有人为我们收尸;如果我们在正确的方向上,我们将会被自己人埋葬。
展开
-
fuse
http://en.wikipedia.org/wiki/Filesystem_in_Userspace http://www.cs.nmsu.edu/~pfeiffer/fuse-tutorial/ http://loggedfs.sourceforge.net/转载 2013-03-29 11:00:46 · 834 阅读 · 0 评论 -
squid 开发的若干资料
关于开发Squid的ecap动态库插件的指导-About the development Squid ecap dynamic libraries plug guidance http://blog.bbkanba.com/%E5%85%B3%E4%BA%8E%E5%BC%80%E5%8F%91squid%E7%9A%84ecap%E5%8A%A8%E6%80%81%E5%BA%93%E6%原创 2012-04-12 10:31:43 · 1468 阅读 · 4 评论 -
缓存算法
原文:http://www.jtraining.com/component/content/article/35-jtraining-blog/98.html 翻译:http://www.zavakid.com/25 引言 我们都听过 cache,当你问他们是什么是缓存的时候,他们会给你一个完美的答案,可是他们不知道缓存是怎么构建的,或者没有告诉你应该采用什么标准去选择缓存框架。在这转载 2014-06-03 15:02:35 · 674 阅读 · 0 评论 -
自有CDN的研发和建设
最近研究方向从视频处理转到内容分发, 可能涉及到的方面有: 调度算法 一致性hash等 调度模式 类似 f5的npath routing 或者 lvs 的 direct routing, 但是要加上基于请求内容的分发 也就是layer4 和 layer7的混合模式。 缓存算法 针对流媒体以及静态文件的各种算法,已经对 cost based caching CERA做了原创 2013-11-21 14:21:55 · 1452 阅读 · 0 评论 -
关于linux文件系统监控
http://blog.csdn.net/sealyao/article/details/6710772 http://lca2009.linux.org.au/slides/172.pdf http://stackoverflow.com/questions/426230/what-is-the-ld-preload-trick http://stackoverflow.c原创 2012-04-10 10:52:11 · 784 阅读 · 0 评论 -
cache algorithm
由于不同系统的数据访问模式不尽相同,同一种缓存策难以在各种数据访问模式下均取得满意性能, 研究人员提出不同缓存策略以适应不同需求。缓存策略可分为以下几类: 基于访问时间:此类算法按各缓存项的被访问时间来组织缓存队列,决定替换对象。如LRU。 基于访问频率:此类算法用缓存项的被访问频率来组织缓存。如LFU、LRU-2、2Q、LIRS。 访问时间与频率兼顾:通过兼顾访问时间与频率,使得在数据访转载 2012-04-12 10:32:53 · 954 阅读 · 0 评论 -
hash function for proxy
hash function 的一些资料补充: http://www.cse.yorku.ca/~oz/hash.html 描述了 djb2 sdbm & lose lose 其他的方法 还有 TIMES 33 Emiller's Advanced Topics In Nginx Module Development http://www.evanmille转载 2013-04-22 23:44:00 · 913 阅读 · 0 评论 -
关于linux文件系统监控(2)
目标:监控linux文件系统指定目录内的文件变化,并记录或提交到相应的接口。 该指定目录用于存储客户提交的文件。 提交方式可能是 ftp 或者 mount 方式一: 使用inotify机制。 相关的开发工具可以使用 inotify-tools,或者在其基础上进行再封装。 优点:开放方便,维护简单,运行稳定。 弱点: 1.事后获知,对于unlink event,无法获知被删除原创 2012-04-12 11:00:30 · 1123 阅读 · 0 评论 -
网络文件加速
技术储备中 http://forums.smallnetbuilder.com/showthread.php?t=10950 https://www.google.com/#q=filecatalyst+source+code&ei=9d-dUd5IhJ-RBdmGgaAC&start=10&sa=N&bav=on.2,or.r_cp.r_qf.&bvm=bv.46865395,d原创 2013-05-23 17:53:11 · 1292 阅读 · 0 评论 -
How To use nginx proxy cache replace squid
http://www.goitworld.com/how-to-use-nginx-proxy-cache-replace-squid/ Nginx from the 0.7.48 release, support for Squid cache similar function. This cache is used as the URL and the relevant comb转载 2012-07-18 10:54:09 · 1409 阅读 · 0 评论 -
squid 相关资料收藏
日志配置: http://blog.csdn.net/zinking3/article/details/1657039 #用法:logfile_rotate 0~10 squid日志格式说明 http://www.linofee.org/~jel/proxy/Squid/accesslog.shtml squid内存管理 http://wiki.squid-cache.原创 2012-07-19 15:44:01 · 1686 阅读 · 0 评论 -
Ceph剖析:数据分布之CRUSH算法与一致性Hash
http://www.cnblogs.com/shanno/p/3958298.html Ceph剖析:数据分布之CRUSH算法与一致性Hash 作者:吴香伟 发表于 2014/09/05 版权声明:可以任意转载,转载时务必以超链接形式标明文章原始出处和作者信息以及版权声明 数据分布是分布式存储系统的一个重要部分,数据分布算法至少要考虑以下三个因素: 1) 故障域隔离。同转载 2014-12-02 17:40:13 · 963 阅读 · 0 评论