基于times33算法的hash数据库

最新推荐文章于 2019-11-02 11:39:46 发布
最新推荐文章于 2019-11-02 11:39:46 发布
阅读量304 收藏
点赞数
文章标签： hash数据库 times33算法 文件存储数据库
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_24425451/article/details/85005490
版权

本地缓存数据库设计原理
1、分两个文件一个索引文件 .idx，一个数据文件 .dat
2、索引文件结构 : [索引指针 | 索引指针| …|索引指针|索引记录|…|索引记录]
索引指针：用来记录索引记录的偏移量（当时的文件size）
索引记录：hash链表 结构=》 [下一个借点指针 | key| 数据偏移量（当时的文件size）|数据长度]
代码如下：
具体说明：
0、初始化的时候创建索引和数据文件
（索引文件组成：索引（存放hash偏移量）+ 索引块（4字节的下一个hash的偏移量+key（key 128位长度不足补0）+dataSize+dataLenth））
（说明：索引（用key的time33算法后得到的二进制数据去读取，长度4字节）（存储的是当前文件的size值）
索引记录块（用索引记录的值去读取长度，128字节）
）
//获取数据
1、输入key，用time33算法计算出key的偏移量
2、通过key的偏移量，获取hash记录块的偏移量
3、通过hash记录块偏移量获取hash记录块数据。判断key是否相等，不等就读取下一个记录块，直到找到，
4、通过data偏移量（当时的文件size）和data的长度，获取data的数据

//数据插入
1、fstat()获取索引文件的文件size，数据文件的文件size
2、构造hash索引记录块（4字节的下一个hash的偏移量+key（key 128位长度不足补0）+dataSize+dataLenth）
3、读取key索引偏移量（当时文件的size）去获取hash记录块，如果没有就直接插入记录块，如果有就第4步
4、读取已经有的hash记录块，判断key值是否相等，如果相等，就报存在。如果不等统插入索引块，数据。

//数据删除
找到数据，如果是头节点，就修改索引里存放的偏移量为下一个索引块的偏移量，如果不是就交换节点。
亲测可用
不足：1、没时间做并发控制。2、删除索引以后数据文件没有改变。
针对以上两个问题，有知道比较好做法的小伙伴留言哈。

<?php

define('DB_INSERT','1');
define('DB_REPALCE','2');
define('DB_STORE','3');
define('DB_BUCKET_SIZE','262144');
define('DB_KEY_SIZE','128');
define('DB_INDEX_SIZE',DB_KEY_SIZE+12);
define('DB_KEY_EXISTS','1');
define('DB_FAILURE','-1');
define('DB_SUCCESS','0');
/**
 *  
 */
class DB {

	private $idx_fp;//索引文件句柄
	private $dat_fp;//数据文件句柄
	private $closed='false';//关闭标识

    public function __construct($pathname)
    {
        if($pathname){
            $this->open($pathname);
        }
    }

    public function __destruct()
    {
        $this->close();
    }

    /**打开索引文件和数组文件
     * @since 2018/12/14
     * @author weihua.zhang
     * @param $pathname
     * @return string
     */
	public function open($pathname){
		$idx_path = $pathname.'.idx';
		$dat_path = $pathname.'.dat';
		if(!file_exists($idx_path)){
			$init = true;
			$mode = 'w+b';
		}else{
			$init = false;
			$mode = 'r+b';
		}
		//打开文件，如果没有就创建
		$this->idx_fp = fopen($idx_path, $mode);
		if(!$this->idx_fp){
			return DB_FAILURE;
		}
		//初始化索引块
		if($init){
			$elem = pack('L',0x00000000);//128字节
			for($i=0;$i<DB_BUCKET_SIZE;$i++){
				fwrite($this->idx_fp, $elem,4);
			}
		}
		//打开文件，如果没有就创建
		$this->dat_fp = fopen($dat_path, $mode);
		if(!$this->idx_fp){
			return DB_FAILURE;
		}

		return DB_SUCCESS;

	}

    /**key偏移量计算
     * @since 2018/12/14
     * @author weihua.zhang
     * @param $key
     * @return float|int
     */
	private function _offset($key){
		return $this->_hash($key)%DB_BUCKET_SIZE*4;
	}

    /**times33算法
     * @since 2018/12/14
     * @author weihua.zhang
     * @param $string
     * @return int
     */
	private function _hash($string){
		$string = substr(md5($string), 0,8);
		$hash = 0;
		for ($i=0; $i <8 ; $i++) { 
			$hash += 33*$hash + ord($string{$i});
		}
		return $hash&0X7FFFFFFF;
	}

    /**读文件
     * @since 2018/12/14
     * @author weihua.zhang
     * @param $handle 文件句柄
     * @param $offset 偏移量
     * @param $lenth 长度
     * @return bool|string
     */
	private function _fileRead($handle,$offset,$lenth){
        fseek($handle, $offset,SEEK_SET);//设置文件光标位置
        return fread($handle, $lenth);
    }

    /**写文件
     * @since 2018/12/14
     * @author weihua.zhang
     * @param $handle 文件句柄
     * @param $offset 偏移量
     * @param $data 数据
     * @param $lenth 长度
     */
    private function _fileWrite($handle,$offset,$data,$lenth){
        fseek($handle, $offset,SEEK_SET);
        fwrite($handle, $data,$lenth);
    }

    /**获取数据操作
     * @since 2018/12/14
     * @author weihua.zhang
     * @param $key
     * @return bool|string
     */
	public function fetch($key){
		$offset = $this->_offset($key);
		$pos = unpack('L', $this->_fileRead($this->idx_fp,$offset,4));//获取hash链表的偏移量
		$pos = $pos[1];
		//查找数据
		$found = false;
		while ($pos){
			$block = $this->_fileRead($this->idx_fp,$pos,DB_INDEX_SIZE);//获取索引记录
            $cpKey = substr($block, 4,DB_KEY_SIZE);
			//找到数据
			if(!strncmp($key, $cpKey, strlen($key))){
				$dataoff = unpack('L', substr($block, DB_KEY_SIZE+4,4));
				$dataoff = $dataoff[1];//数据偏移量
				$datalen = unpack('L', substr($block, DB_KEY_SIZE+8,4));
				$datalen = $datalen[1];//数据长度
				$found = true;
				break;
			}
			//没找到数据,就查找下一个索引记录
			$pos = unpack('L', substr($block, 0,4));//获取hash链表的偏移量
			$pos = $pos[1];
		}

		if(!$found){
			return DB_FAILURE;
		}
        $data = $this->_fileRead($this->dat_fp,$dataoff,$datalen);
		return $data;
	}

    /**插入数据
     * @since 2018/12/14
     * @author weihua.zhang
     * @param $block 索引记录
     * @param $data  存储的数据
     * @param $offset 索引偏移量
     * @param $idxoff 新增索引记录偏移量
     * @param $datoff 数据偏移量
     */
	private function _insert_data($block,$data,$offset,$idxoff,$datoff){
        $this->_fileWrite($this->idx_fp,$offset,pack('L',$idxoff),4);//新增索引
        $this->_fileWrite($this->idx_fp,$idxoff,$block,DB_INDEX_SIZE);//添加索引记录
        $this->_fileWrite($this->dat_fp,$datoff,$data,strlen($data));//添加数据
	}

    /**写入操作
     * @since 2018/12/14
     * @author weihua.zhang
     * @param $key
     * @param $data
     * @return string
     */
	public function insert($key,$data){
		$offset = $this->_offset($key);
		$idxoff = fstat($this->idx_fp);//获取索引表的统计信息，计算索引记录的偏移量
		$idxoff = $idxoff['size'];
		$datoff = fstat($this->dat_fp);//获取数据表的统计信息，计算数据记录的偏移量
		$datoff = $datoff['size'];
		$keylen = strlen($key);
		if($keylen>DB_KEY_SIZE){
			return DB_FAILURE;
		}
		//构造索引记录块
		$block = pack('L',0000);
		$block.= $key;
		$space = DB_KEY_SIZE-$keylen;
		for ($i=0; $i < $space; $i++) { 
			$block.= pack('C',0);
		}
		$block .= pack('L',$datoff);
		$block .= pack('L',strlen($data));
		//判断key是否存在，如果没有就写入索引记录的偏移量
		$pos = unpack('L', $this->_fileRead($this->idx_fp,$offset,4));
		$pos = $pos[1];
		if($pos==0){
            $this->_insert_data($block,$data,$offset,$idxoff,$datoff);
            return DB_SUCCESS;
		}
		$found = false;
		while ($pos) {
			//获取索引记录块
			$temp_block = $this->_fileRead($this->idx_fp,$pos,DB_INDEX_SIZE);
			$cpKey = substr($temp_block, 4,DB_KEY_SIZE);
			if(!strncmp($key, $cpKey, strlen($key))){
				$found = true;
				break;
			}
            $prev = $pos;//记录本次的偏移量，因为下次索引记录可能是空的
            $pos = unpack('L',substr($temp_block, 0,4));
            $pos = $pos[1];
		}
        if($found){
            return DB_KEY_EXISTS;
        }
        $this->_insert_data($block,$data,$prev,$idxoff,$datoff);
        return DB_SUCCESS;
	}

    /**删除操作
     * @since 2018/12/14
     * @author weihua.zhang
     * @param $key
     * @return string
     */
	public function delete($key){
        $offset = $this->_offset($key);
        $head = unpack('L',$this->_fileRead($this->idx_fp,$offset,4));
        $curr = $head = $head[1];
        $prev = 0;
        $next = 0;
        $datoff = 0;
        $datlen = 0;
        //获取索引记录
        while ($curr){
            $block = $this->_fileRead($this->idx_fp,$curr,DB_INDEX_SIZE);
            $next = unpack('L',substr($block,0,4))[1];
            $cpkey = substr($block,4,DB_KEY_SIZE);
            if(!strncmp($key,$cpkey,strlen($key))){
                $datoff = unpack('L',substr($block,DB_KEY_SIZE+4,4))[1];
                $datlen = unpack('L',substr($block,DB_KEY_SIZE+8,4))[1];
                $found = true;
                break;
            }
            $prev = $curr;
            $curr = $next;
        }
        if(!$found){
            return DB_FAILURE;
        }
        if($prev==0){
            //如果是头节点，修改索引为下一个hash链表的借点
            $this->_fileWrite($this->idx_fp,$offset,pack('L',$next),4);
        }else{
            //如果不是头节点，交换借点
            $this->_fileWrite($this->idx_fp,$prev,pack('L',$next),4);
        }
        return DB_SUCCESS;

    }

    /**关闭句柄
     * @since 2018/12/14
     * @author weihua.zhang
     */
    public function close(){
	    if(!$this->closed){
	        fclose($this->idx_fp);
	        fclose($this->dat_fp);
            $this->closed = true;
        }
    }

	
}
Craze_rd
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
经典的Times 33 哈希算法
二进制之路
07-13 2471
一个好的散列函数通常倾向于“为不相等的对象产生不相等的散列码”。理想情况下，散列函数应该把集合中不相等的实例均匀地分布到所有可能的散列值上。要想完全达到这种理想的情形是非常困难的。幸运的是，相对接近这种理想情形则并不太困难。 由Daniel J. Bernstein教授多年前在comp.lang.c发表的Times 33算法。 它是有史以来发布的最有效的哈希函数之一。 算法介绍 首先，引...
php times33,PHP Hash算法：Times33算法代码实例_PHP
weixin_35783593的博客
03-10 114
最近看书，里面提到了一些Hash算法。比较有印象的是Times33，当时理解不是很透测，今天写了段程序来验证了一下。先上代码：代码如下:/*** CRC32 Hash function* @param $str* @return int*/function hash32($str){return crc32($str) >> 16 & 0x7FFFFFFF;}/*** Time...
Time33算法
weixin_34319999的博客
11-30 197
Time33是字符串哈希函数，现在几乎所有流行的HashMap都采用了DJB Hash Function，俗称“Times33”算法。Times33的算法很简单，就是不断的乘33。 c语言版本 #include "stdio.h" unsigned int time33(char *); int main(){ char str[3] = "c语言"; int res; ...
Time33哈希算法
zhang434的专栏
12-19 1288
字符串哈希函数，发现几乎所有的流行的HashMap都采用了DJB Hash Function，俗称“Times33”算法。Times33的算法很简单，就是不断的乘33，见下面算法原型。 hash(i) = hash(i-1) * 33 + str[i]
PHP Hash算法：Times33算法代码实例
10-24
主要介绍了PHP Hash算法：Times33算法代码实例,本文直接给出实现代码,需要的朋友可以参考下
php-perl哈希算法实现(times33哈希算法)
10-26
Times33哈希算法，也称为DJBX33A（Daniel J. Bernstein, Times 33 with Addition），是一种简单而高效的字符串哈希算法。该算法在PHP和Perl中被广泛使用，是Apache Portable Runtime (APR)库的默认哈希函数。本文将...
解决分布式数据插入数据库~一致性hash算法
最新发布
10-27
为了解决这个问题，可以采用跳数法（Jump Consistent Hash）或者更高级的一致性哈希变体，如Ketama或libketama。哈希冲突则可以通过开放寻址、链地址法等方法来解决。 此外，一致性哈希算法在分布式缓存如Memcached...
基于一致性hash算法 C++语言的实现详解
09-05
在C++中，可以使用标准库中的`std::hash`或者第三方库（如`openssl`）来实现MD5哈希。 ```cpp // 使用MD5计算哈希值的示例 std::string calculateMD5(const std::string& input); ``` 3. 一致性哈希算法的实现： ...
哈希算法(Hash Algorithm)初探
Eric的博客
03-12 3万+
不约而同的，几乎所有的流行的hash map都采用了DJB hash function，俗称“Times33”算法。Perl、Berkeley DB 、Apache、MFC、STL 等等。times33的算法也很简单，就是不断的乘33。nHash = nHash*33 + *key++;我没找到什么理论可以说明这种算法的合理性，据说只是通过测试和实践发现这个算法是比较好的。如果有哪位能够提供这方面
time33算法
xpisme
11-06 3303
以下只是我的理解，还望批评指正。目的：字符串转化成一个无符号整型的数字。 time33算法就是其中的一种算法。1：首先一个字符串可能会很长，可能包含着各种语言的字符，例如：中英文字符。那么怎么才能最快，效率最高得到对应的一个数字。并且这个数字是唯一的？2：在php中，一个字符串太长不好计算，可以使用md5函数，将字符串转化成32个长度的字符串。这样只计算这个字符串就可以了。3：生成的字符串含有英文
Times33 DJB Hash 算法
weixin_30666753的博客
07-06 1124
DJB Hash 俗称Times33 算法。 作用：将字符串映射成一个整数 用法：顾名思义，每次用HASH 值乘 33,加上字符ASCII值 hash(i) = hash(i-1) * 33 + str[i] 下面是优化的代码： unsigned int DJBHash(const char* str, unsigned int length) { unsign...
记一次使用time33哈希算法的总结
jetamiett的博客
08-20 1262
time33简介 哈希（散列）算法time33是目前比较普遍采用的，又称为DJBX33A (Daniel J. Bernstein, Times 33 with Addition)。这个算法被广泛运用于多个软件项目等。通过该算法可以输出一个相对固定长度的值（有时长度稍微短一点）。可以压缩任意长度的字符串，输出永远比输入小。有一点注意的是不同的输入会有几率出现相同的输出（这也是我问题的原因）。 ...
Time33算法与位运算
义臻的博客
08-11 479
最近不是很忙，阅读了下《大型网站技术架构》一书。在4.3.4代码优化小节有这样的一句话：“目前比较好的字符串hash算法有Time33算法”。 Time33算法，就是hash(i)=33*hash(i-1)+str[i]。在jdk源码中String类的hashCode()方法使用的是Time31算法。 源码如下： public int hashCode() { int h =
简述Times33散列函数
我希望，快乐，在我走过的地方绽放。。。。
11-02 3401
闲来无事，随手翻看《Redis5 设计与源码分析》的时候再次看到了哈希函数times33，想着之前在学习PHP源码的时候也看到过这个哈希函数，就想好好研究一下，但是查阅许久都没有找到满意的结果，以下内容部分摘自Laruence介绍PHP中的hash算法的博客，原文地址：http://www.laruence.com/2009/07/23/994.html PHP的Hash采用的是目前最为普遍...
DJB Hash Function，也称times33算法, php的实现与分析-算法
热门推荐
爱钓鱼的程序猫
01-07 39万+
DJBX33A又叫Times33哈希算法的实现与分析 算法：对字符串的每个字符，迭代的乘以33，目的把字符串转换成整数 公式:   hash（i） = hash（i-1）*33 + str[i] ;   乘于33是为了减少碰撞重复，简单点理解就是1+2和2+1是一样的，那1*33+2和2*33+1就不一样了。 为什么要用33，因为33是一个素数，能更好的散列，PHP内置的Hash函数用的素数...
time33 哈希函数，又叫 DJBX33A，Bernstein's hash
weixin_30339457的博客
12-20 339
php, apache, perl, bsddb都使用time33哈希. 最简单的版本 uint32_t time33(char const *str, int len) { unsigned long hash = 0; for (int i = 0; i < len; i++) { ...
apriori算法基于hash
05-25
apriori算法并不是基于hash的算法，它是一种经典的频繁项集挖掘算法，用于发现数据集中出现频率最高的项集。apriori算法的核心思想是利用先验知识削减搜索空间，即通过候选项集的逐层筛选，去除不满足最小支持度要求...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值