用Hash目录优化文件存储

转载 2006年06月26日 08:43:00
Hash目录是一种优化文件存储性能的方法。无论是Windows还是Linux,无论是NTFS还是ext3,每个目录下所能容纳的项目数是有限的。并不是不能保存,而是当项目数量过大的时候,会降低文件索引速度,所以权衡一个目录下应该保存多少文件是很必要的。保存得多了会影响性能,保存得少了会造成目录太多和空间浪费。所以当保存大批文件的时候,需要有一种算法能将文件比较均匀地“打散”在不同的子目录下以提高每一级的索引速度,这种算法就是Hash。通常用的MD5、sha1等都可以用来做Hash目录,我的mSession里也同样使用了MD5,取得sessionID的第一位和第九位,这就构成了两级Hash路径,也就是说,系统把所有的Session文件分散到了16×16=256个子目录下。假设Linux每个目录下保存1000个文件可以获得最好的空间性能比,那么系统在理想情况下可以同时有256000个session文件在被使用。

相关文章推荐

Ext Js 3.2中Record的使用方法

先来了解Ext Js和SQL的不用语法:    1:Ext Js语法       var EmployeeRecord = new Ext.data.Record.create({    ...

Ext Js 3.2 EditorGridPanel 加入一行后进行保存并进行数据验证

1:代码 "> gridPanel

Ext Js 3.2 EditorGirdPanel增加一行和删除一行

1:源代码 "> gridPanel

海量数据处理——分治和hash映射

什么是Hash      Hash,一般翻译做“散列”,也有直接音译为“哈希”的,就是把任意长度的输入(又叫做预映射, pre-image),通过散列算法,变换成固定长度的输出,该输出就是散列值。这...

文件上传目录(哈希目录)

1.文件重名问题 UUID+"文件名" 2.目录问题 利用文件名的hashcode来创建目录 目录效果如下(每级是16个) 以下是例子 1.写个工具类 package cn.j...

Centos 文件存储目录容量扩展

之前博客有关于CDH的安装教程,但是最近在使用集群的时候发现集群中的hdfs总的存储空间与规划有较大差异,后来发现是文件目录容量的问题。本篇博客主要讲解如何更改特定目录的存储空间大小。 步骤:1. 查...

关于os的一系列问题:寻找目录中的视频文件,并存储路径

需求:编写一个程序,用户输入开始搜索的路径,查找该路径下(包含子文件夹内)所有的视频格式文件(要求查找MP4、rmvb、avi的格式即可),并创建一个文件(videoList.txt)存放所有找到的文...

Android中的文件存储目录

在安卓中,通过Activity或Environment对象可以获得好多不同的路径,下面来一一分析 第一类:没什么用处的路径 System.out.println("根目录是"+Environment....

迁移数据库的相关文件到存储中(目录不相同)

迁移所有数据文件、日志文件、控制文件到新的存储(不同目录) 将控制文件、数据文件、日志文件迁移到新的存储上 一、安装11g数据库,添加一块磁盘,作为新的存储。 添加一块8g磁盘  ...
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:深度学习:神经网络中的前向传播和反向传播算法推导
举报原因:
原因补充:

(最多只允许输入30个字)