布隆过滤器 php+redis

已于 2023-09-25 17:54:59 修改
阅读量172 收藏
点赞数
文章标签： php redis 开发语言
于 2023-09-18 11:09:49 首次发布

前言

在实际开发中，我们是否有遇到以下情况。

  • 缓存穿透：某个用户一直在请求一个不存在的商品信息，导致我的数据库宕机了（请求一次获取商品信息数据后台要做的工作比较多，如统计访问量，商品数据的构成由多个表的数据聚合及后台对商品数据的二次换算等。）
  • 某个时间点，我的网站有大量的有效用户在注册或是在活跃。
    分析场景：
    1、正在注册的用户产生了大量的写请求，在注册流程中用户名的唯一性效验是去user表中进行的查询。而当时有大量的查询访问
    2、活跃的用户cookie存储的是用户名，每次刷新一次页面或是跳转都会去user表中效验该用户名对应用户是否存在

基于此，导致数据库宕机了。怎么来处理呢？

答案：做布隆过滤吧

布隆过滤：目标数据晒查出来的结果是：可能存在；一定不存在。

原理

把集合中的每一个值按照提供的Hash算法算出对应的Hash值，然后将Hash值对数组长度取模后得到需要计入数组的索引值，并且将数组这个位置的值从0改成1。在判断一个元素是否存在于这个集合中时，你只需要将这个元素按照相同的算法计算出索引值，如果这个位置的值为1就认为这个元素极大可能在集合中，否则认为绝对不在集合中。
在这里插入图片描述
hash解析映射

在这里插入图片描述
redis bit map 映射

实现

1、先定义出hash算法。用于对数据进行hash计算

class BloomFilterHash
{
    /**
     * 由Justin Sobel编写的按位散列函数
     */
    public function JSHash($string, $len = null)
    {
        $hash = 1315423911;
        $len || $len = strlen($string);
        for ($i=0; $i<$len; $i++) {
            $hash ^= (($hash << 5) + ord($string[$i]) + ($hash >> 2));
        }
        return ($hash % 0xFFFFFFFF) & 0xFFFFFFFF;
    }

    /**
     * 该哈希算法基于AT＆T贝尔实验室的Peter J. Weinberger的工作。
     * Aho Sethi和Ulman编写的“编译器（原理，技术和工具）”一书建议使用采用此特定算法中的散列方法的散列函数。
     */
    public function PJWHash($string, $len = null)
    {
        $bitsInUnsignedInt = 4 * 8; //（unsigned int）（sizeof（unsigned int）* 8）;
        $threeQuarters = ($bitsInUnsignedInt * 3) / 4;
        $oneEighth = $bitsInUnsignedInt / 8;
        $highBits = 0xFFFFFFFF << (int) ($bitsInUnsignedInt - $oneEighth);
        $hash = 0;
        $test = 0;
        $len || $len = strlen($string);
        for($i=0; $i<$len; $i++) {
            $hash = ($hash << (int) ($oneEighth)) + ord($string[$i]); } $test = $hash & $highBits; if ($test != 0) { $hash = (($hash ^ ($test >> (int)($threeQuarters))) & (~$highBits));
        }
        return ($hash % 0xFFFFFFFF) & 0xFFFFFFFF;
    }

    /**
     * 类似于PJW Hash功能，但针对32位处理器进行了调整。它是基于UNIX的系统上的widley使用哈希函数。
     */
    public function ELFHash($string, $len = null)
    {
        $hash = 0;
        $len || $len = strlen($string);
        for ($i=0; $i<$len; $i++) {
            $hash = ($hash << 4) + ord($string[$i]); $x = $hash & 0xF0000000; if ($x != 0) { $hash ^= ($x >> 24);
            }
            $hash &= ~$x;
        }
        return ($hash % 0xFFFFFFFF) & 0xFFFFFFFF;
    }

    /**
     * 这个哈希函数来自Brian Kernighan和Dennis Ritchie的书“The C Programming Language”。
     * 它是一个简单的哈希函数，使用一组奇怪的可能种子，它们都构成了31 .... 31 ... 31等模式，它似乎与DJB哈希函数非常相似。
     */
    public function BKDRHash($string, $len = null)
    {
        $seed = 131;  # 31 131 1313 13131 131313 etc..
        $hash = 0;
        $len || $len = strlen($string);
        for ($i=0; $i<$len; $i++) {
            $hash = (int) (($hash * $seed) + ord($string[$i]));
        }
        return ($hash % 0xFFFFFFFF) & 0xFFFFFFFF;
    }

    /**
     * 这是在开源SDBM项目中使用的首选算法。
     * 哈希函数似乎对许多不同的数据集具有良好的总体分布。它似乎适用于数据集中元素的MSB存在高差异的情况。
     */
    public function SDBMHash($string, $len = null)
    {
        $hash = 0;
        $len || $len = strlen($string);
        for ($i=0; $i<$len; $i++) {
            $hash = (int) (ord($string[$i]) + ($hash << 6) + ($hash << 16) - $hash);
        }
        return ($hash % 0xFFFFFFFF) & 0xFFFFFFFF;
    }

    /**
     * 由Daniel J. Bernstein教授制作的算法，首先在usenet新闻组comp.lang.c上向世界展示。
     * 它是有史以来发布的最有效的哈希函数之一。
     */
    public function DJBHash($string, $len = null)
    {
        $hash = 5381;
        $len || $len = strlen($string);
        for ($i=0; $i<$len; $i++) {
            $hash = (int) (($hash << 5) + $hash) + ord($string[$i]);
        }
        return ($hash % 0xFFFFFFFF) & 0xFFFFFFFF;
    }

    /**
     * Donald E. Knuth在“计算机编程艺术第3卷”中提出的算法，主题是排序和搜索第6.4章。
     */
    public function DEKHash($string, $len = null)
    {
        $len || $len = strlen($string);
        $hash = $len;
        for ($i=0; $i<$len; $i++) {
            $hash = (($hash << 5) ^ ($hash >> 27)) ^ ord($string[$i]);
        }
        return ($hash % 0xFFFFFFFF) & 0xFFFFFFFF;
    }

    /**
     * 参考 http://www.isthe.com/chongo/tech/comp/fnv/
     */
    public function FNVHash($string, $len = null)
    {
        $prime = 16777619; //32位的prime 2^24 + 2^8 + 0x93 = 16777619
        $hash = 2166136261; //32位的offset
        $len || $len = strlen($string);
        for ($i=0; $i<$len; $i++) {
            $hash = (int) ($hash * $prime) % 0xFFFFFFFF;
            $hash ^= ord($string[$i]);
        }
        return ($hash % 0xFFFFFFFF) & 0xFFFFFFFF;
    }
}

2、抽象布隆过滤操作

<?php

namespace App\Components\BloomFilter\Core;

/**
 * 布隆过滤
 */
abstract class BloomFilterCore
{
    /**
     * 增加
     *
     * @param string $bucket
     * @param string $string
     */
    abstract public function add(string $bucket,string $string) : void;

    /**
     * 效验
     *
     * @param string $string
     * @return bool
     */
    abstract public function exists(string $bucket,string $string) : bool;
}

3、布隆过滤封装实现

a、通用版 - redis

<?php

namespace App\Components\BloomFilter;

use App\Components\BloomFilter\Core\BloomFilterCore;
use App\Components\BloomFilter\Core\HashFunction;
use App\Components\BloomFilter\Core\HashFunctionType;
use App\Exceptions\AppException;
use Illuminate\Redis\RedisManager;

/**
 * 布隆过滤  通用版
 */
class BloomFilterBase extends BloomFilterCore
{
    /**
     * bucket 名称
     *
     * @var string
     */
    protected string $bucket = 'base';

    /**
     * hash 算法
     *
     * @var array
     */
    protected array $hashFunction = [
        HashFunctionType::BKDRHash,
        HashFunctionType::SDBMHash,
        HashFunctionType::JSHash
    ];

    protected HashFunction $hashFunctionObj;

    protected RedisManager $redis;

    public function __construct()
    {
        if (empty($this->bucket) || empty($this->hashFunction))
        {
            throw new AppException("需要定义bucket和hashFunction");
        }

        $this->hashFunctionObj = new HashFunction();

        $this->redis = app()->get('redis');
    }

    /**
     * 添加到集合中
     */
    public function add(string $bucket,string $string) : void
    {

        /**
         * @var \Redis $pipe
         */
        $pipe = $this->redis->multi();
        foreach ($this->hashFunction as $function)
        {
            $hash = $this->handlerHashNum(
                call_user_func([$this->hashFunctionObj,$function->value],$string)
            );
            $this->redis->setBit($bucket ?? $this->bucket, $hash, 1);
        }
        $pipe->exec();
    }

    public function handlerHashNum($num) : int
    {
        $limit = 11;

        if($num > $limit * 100000000)
        {
            $num = substr($num,0,9);
        }

        return intval($num);
    }

    /**
     * 查询是否存在, 如果曾经写入过，必定回true，如果没写入过，有一定几率会误判为存在
     */
    public function exists(string $bucket,string $string) : bool
    {
        /**
         * @var \Redis $pipe
         */
        $pipe = $this->redis->multi();
        $len = strlen($string);
        foreach ($this->hashFunction as $function)
        {
            $hash = $this->handlerHashNum(
                call_user_func([$this->hashFunctionObj,$function->value],$string)
            );
            $pipe = $pipe->getBit($bucket ?? $this->bucket, $hash);
        }
        $res = $pipe->exec();

        foreach ($res as $bit)
        {
            if ($bit == 0)
            {
                return false;
            }
        }
        return true;
    }
}

b、integer 版 - redis

<?php

namespace App\Components\BloomFilter;

use App\Components\BloomFilter\Core\BloomFilterCore;
use App\Exceptions\AppException;
use Illuminate\Redis\RedisManager;

/**
 * 布隆过滤  integer 性能版
 */
class BloomFilterIntegerBase extends BloomFilterCore
{
    /**
     * bucket 名称
     *
     * @var string
     */
    protected string $bucket = 'integer_base';

    protected RedisManager $redis;

    public function __construct()
    {
        if (empty($this->bucket))
        {
            throw new AppException("需要定义bucket和hashFunction");
        }

        $this->redis = app()->get('redis');
    }

    public function add(string $bucket, string $string): void
    {
        $this->redis->setBit($bucket ?? $this->bucket, intval($string), 1);
    }

    public function exists(string $bucket, string $string): bool
    {
        return $this->redis->getBit($bucket ?? $this->bucket, intval($string)) != 0;
    }

}

关于使用

<?php
//布隆过滤 - 通用版 - 测试
$key = 'mall_shop_2';

\App\Components\BloomFilter\BloomFilter::add('test1',$key);

$result2 = \App\Components\BloomFilter\BloomFilter::exists('test1',$key);

dd([
    // '$result1'  =>  $result1,
    '$result2'  =>  $result2,
]);


//布隆过滤 - integer版 - 测试

$key = '1111';

\App\Components\BloomFilter\BloomFilterInteger::add('test1',$key);

$result2 = \App\Components\BloomFilter\BloomFilterInteger::exists('test1',$key);

dd([
    // '$result1'  =>  $result1,
    '$result2'  =>  $result2,
]);

应用场景

  • 预防缓存穿透；预防黑客攻击。降低数据库压力
  • 在大量写入场景下（如用户注册，效验用户名是否已存在），解决对数据库写压力的情况。降低数据库压力
  • 在大量请求下，筛出真实有效的访问（踢出无效访问，如用户要访问一个不存在的内容）。降低数据库压力
倾听岁月
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
PHP 实现布隆过滤器
csdcit的博客
06-25 1272
场景：爬虫抓取有500亿个URL的网站，怎么更节省资源做到每天不重复抓取 就还需要想办法压缩URL的内存占用，可以使用BloomFilter算法，是一个很经典的算法，非常适用海量数据的排重过滤，占用极少的内存，查询效率也非常的高。它的原理是把一个字符串映射到一个bit上，刚才23402373占8个字节，现在只占用1个bit（1字节=8bit），内存节省了近64倍，以前700M内存，现在只需要10多M了。 布隆过滤器的原理可以参考这里，非常详细：http://imhuchao.com/1271.htm
redis布隆过滤器以及在PHP中的使用
jobsen123的专栏
04-19 396
1、布隆过滤器简介 布隆过滤器是一种数据结构，是一个很长的二进制向量和一系列随机映射函数，可以将其看成一个二进制数组。布隆过滤器可以用于检索一个元素是否在一个集合中。既然布隆过滤器是二进制，那么里面存放的不是0，就是1，但是初始默认值都是0。 向布隆过滤器添加数据 前面我们说过布隆过滤器就像一个二进制数组一样，那我们如何向布隆过滤器中添加一个数据呢？ 如下图所示：当要向布隆过滤器中添加一个元素key时，我们通过多个hash函数，算出一个值，然后将这个值所在的方格置为1。 比如，下图hash1(key)
php + redis布隆过滤器.zip
06-22
PHP + Redis 实现布隆过滤器,当你的项目需要有大并发的时候,比如id是有序的int类型的时候,增加布隆过滤器可以防止缓存失效直接查询数据库导致的缓存穿透
布隆过滤器(bloom filter)及php和redis实现布隆过滤器的方法
10-15
主要介绍了布隆过滤器(bloom filter)介绍以及php和redis实现布隆过滤器实现方法,非常不错，具有一定的参考借鉴价值，需要的朋友可以参考下
PHP + Redis 实现布隆过滤器，防止缓存被击穿.zip
05-30
PHP + Redis 实现布隆过滤器，防止缓存被击穿.zip
Python+Redis实现布隆过滤器
01-21
布隆过滤器是什么 　　布隆过滤器（Bloom Filter）是1970年由布隆提出的。它实际上是一个很长的二进制向量和一系列随机映射函数。布隆过滤器可以用于检索一个元素是否在一个集合中。它的优点是空间效率和查询时间都比一般的算法要好的多，缺点是有一定的误识别率和删除困难。 布隆过滤器的基本思想 　　通过一种叫作散列表（又叫哈希表，Hash table）的数据结构。它可以通过一个Hash函数将一个元素映射成一个位阵列（Bit array）中的一个点。这样一来，我们只要看看这个点是不是1就可以知道集合中有没有它了 布隆过滤器的优缺点 优点： 　　1.布隆过滤器的存储空间和插入/查询时间都是常数
布隆过滤器
weixin_30767835的博客
12-18 243
引言 在介绍布隆过滤器之前我们首先引入几个场景。 场景一 在一个高并发的计数系统中，如果一个key没有计数，此时我们应该返回0，但是访问的key不存在，相当于每次访问缓存都不起作用了。那么如何避免频繁访问数量为0的key而导致的缓存被击穿？ 有人说， 将这个key的值置为0存入缓存不就行了吗？确实，这是一个好的方案。大部分情况我们都是这样做的，当访问一个不存在的key的时候，设置一个带有过...
php+redis实现布伦过滤器
leo_jk的博客
12-17 951
摘自：布隆过滤器实现代码php+redis - 泥土里的绽放 - 博客园 一、首先定义一个hash函数集合类，（使用3个或三个一上） class BloomFilterHash { /** * 由Justin Sobel编写的按位散列函数 */ public function JSHash($string, $len = null) { $hash = 1315423911; $len || $len = strlen($st
布隆过滤器和布谷鸟过滤器
老师好我叫付十一的博客
11-16 2497
布隆过滤器、布谷鸟过滤器
布隆过滤器，原理+案例+代码实现
CrankZ的博客
12-09 8292
概述 什么是布隆过滤器         布隆过滤器（Bloom Filter）是1970年由布隆提出的，它实际上是由一个很长的二进制向量和一系列随意映射函数组成。         它是一种基于概率的数据结构，主要用来判断某个元素是否在集合内，它具有运行速度快（时间效率），占用内存小的优点（空间效率），但是有一定的误识别率和删除困难的问题。它能够告诉你某个元素一定不在集合内或可能在集合内。 ...
认识布隆过滤器
ZCC的专栏
01-23 473
import java.util.*; //大数据和空间限制 //认识布隆过滤器 public class BuLong{ public static void main(String[]args) { BloomFilter b = new BloomFilter(); b.addValue("www.google.com"); b.ad
布隆过滤器Bloom Filter算法的Java实现（用于去重）
weixin_33717117的博客
02-23 913
在日常生活中，包括在设计计算机软件时，我们经常要判断一个元素是否在一个 集合中。比如在字处理软件中，需要检查一个英语单词是否拼写正确（也就是要判断它是否在已知的字典中）；在 FBI，一个嫌疑人的名字是否已经在嫌疑名单上；在网络爬虫里，一个网址是否被访问过等等。最直接的方法就是将集合中全部的元素存在计算机中，遇到一个新 元素时，将它和集合中的元素直接比较...
Java实现布隆过滤器(已爬URL过滤)
热门推荐
JavaSheng的专栏
04-29 1万+
最近写爬虫需要降低内存的占用，现在用的是HashSet进行已爬URL的过滤，所以想到用布隆过滤器(Bloom Filter)来替换，从而减少内存的开销。因为HashSet内部是由HashMap处理的，HashMap则通过计算一个int型的hash值得出信息指纹，所以一个信息指纹占8字节，但是由于哈希的存储效率一般只有一半，所有说一条URL就需要16字节的信息指纹，而Bloom Filter 则只需要
大数据处理-Bitmap
weixin_30556161的博客
09-04 798
　　MapReduce是一种编程模型，用于大规模数据集（大于1TB）的并行运算。概念"Map（映射）"和"Reduce（归约）" Bit-map空间压缩和快速排序去重 1. Bit-map的基本思想 　　32位机器上，对于一个整型数，比如int a=1 在内存中占32bit位，这是为了方便计算机的运算。但是对于某些应用场景而言，这属于一种巨大的浪费，因为我们可以用对应的32bit位对应存储十进...
布隆过滤器++应用场景
最新发布
11-13
布隆过滤器是一种高效的数据结构，主要用于判断一个元素是否在一个集合中。它的优点是空间效率和查询时间都比一般的算法要好得多，缺点是有一定的误识别率和删除困难。因此，布隆过滤器适用于那些允许有些许误判的...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值