2021-08-25

最新推荐文章于 2021-08-25 19:12:48 发布
最新推荐文章于 2021-08-25 19:12:48 发布
阅读量83 收藏
点赞数
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_38063663/article/details/119903487
版权

布隆过滤器小记

一、缓存技术
在了解布隆过滤器之前先回忆一下数据缓存,java项目中我们用到过ehcache基于jvm内存的缓存框架,也使用到过第三方的服务如redis，memcached等内存数据库。

二 在使用缓存技术方面要面对的几种问题:

  1. 缓存穿透:访问一个不存在的key，缓存不起作用，请求会穿透到DB，流量大时DB会挂掉。
  2. 缓存击穿: 一个存在的key，在缓存过期的一刻，同时有大量的请求，这些请求都会击穿到DB，造成瞬时DB请求量大、压力骤增。
  3. 缓存雪崩: 大量的key设置了相同的过期时间，导致在缓存在同一时刻全部失效，造成瞬时DB请求量大、压力骤增，引起雪崩。

三 需要判断大量数量是否存在
当我们要判断某个商品的id是否存在的时候需要,可以去查询数据库但是这种查询方式会给数据库带来巨大的压力,在高并发的情况下可能到时数据库压力过大而宕机,另一种方法是将所有的产品id读取到缓存中去,可以减小数据库的压力和提升比对的速度,但是缺点就是会占用大量的内存,例如 java 中一个 int类型占用4个字节的内存,10000个商品id的话 占用10000*4/1024=39KB (这里做个计算用来和下面说到的布隆过滤器占用的内存大小进行比对)

四 布隆过滤器是什么
布隆过滤器是一种占用空间很小的数据结构，它由一个很长的二进制向量和一组Hash映射函数组成，它用于检索一个元素是否在一个集合中，空间效率和查询时间都比一般的算法要好的多，缺点是有一定的误识别率和删除困难。
布隆过滤器原理是？
假设我们有个集合A，A中有n个元素。利用k个哈希散列函数，将A中的每个元素映射到一个长度为a位的数组B中的不同位置上，这些位置上的二进制数均设置为1。如果待检查的元素，经过这k个哈希散列函数的映射后，发现其k个位置上的二进制数全部为1，这个元素很可能属于集合A，反之，一定不属于集合A。
布隆过滤器默认的误差率为0.003而且布隆过滤器会根据期望的填充数据量计算去填充的字节数组的长度。
布隆过滤器的执行原理 请参考 Counting Bloom Filter 的原理和实现

清风拂袖过
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
2021-08-22
qq_43134594的博客
08-22 141
/home/panda/miniconda3/envs/py37/bin/python /home/panda/Desktop/PythonProject/spert-master-xu/spert.py train --config configs/example_train.conf Config: {‘label’: ‘conll04_train’, ‘model_type’: ‘spert’, ‘model_path’: ‘bert-base-cased/pytorch-model.bin’, ‘t
2021-08-23
mvpboy123的博客
08-23 65
import os import openpyxl #需要pip def getfilelist(dir,file_out,sheet_out): filelist = os.listdir(dir) #获取文件名，存入列表 xlsx = openpyxl.load_workbook(file_out) # 打开输出文件 sheet = xlsx.worksheets[sheet_out] # 打开指定输入sheet n=1 for i in filelist: sheet.cell(row=n, c
2021-01-08
weixin_45404781的博客
01-08 886
typedef struct tagCOPYDATASTRUCT { DWORD dwData; //用户自定义字段 DWORD cbData; //数据长度 PVOID lpData; //内容指针 } COPYDATASTRUCT;
2021-04-21
qq_56102648的博客
04-21 781
Linuxunexpected error reading Dockerfile: is a directory--2021-08-25
Oppuser的博客
08-25 2343
编写完Dockerfile后需要通过命令将其制作为镜像 mobaXterm报错: unexpected error reading Dockerfile: read /var/lib/docker/tmp/docker-builder314741730/Dockerfile: is a directory 解决: 要先进入dockerfile文件夹路径下 cd Dockerfile/ ...
职素课简历包装2021-08-25.wmv
09-18
职素课简历包装2021-08-25
高校智慧校园大脑建设方案2021[2021-08-25]（47页）.pdf
05-21
高校智慧校园大脑建设方案2021[2021-08-25]（47页）.pdf
智慧医院建设方案汇报(联想论坛资料)[2021-08-25]（60页）.pdf
05-26
智慧医院的建设是现代医疗行业的重要发展趋势，旨在利用先进的信息技术，提高医疗服务的效率、质量和安全性。联想论坛资料中的智慧医院建设方案涵盖了多个层面，包括信息化建设、建设内容、建设效果和实施保障。...
Tekton-Second-Github2021-03-08T16-25-00.757Z:为工具链创建
03-09
这个名为 "Tekton-Second-Github2021-03-08T16-25-00.757Z: 为工具链创建" 的资源，看起来是一个 Tekton 管道的实例，旨在展示如何利用 Tekton 构建和执行任务。 Tekton 的核心概念包括 Pipeline、PipelineRun、...
avif-0.5.0-cp37-cp37m-manylinux2010_i686.whl
07-27
python库，可以直接安装使用，再也不怕自己pip下载，出现等待超时的现象。欢迎下载使用，使用过程中如有使用问题，请及时与我沟通交流，帮你解决！ python库，可以直接安装使用，再也不怕自己pip下载，出现等待超时的现象。欢迎下载使用，使用过程中如有使用问题，请及时与我沟通交流，帮你解决！ python库，可以直接安装使用，再也不怕自己pip下载，出现等待超时的现象。欢迎下载使用，使用过程中如有使用问题，请及时与我沟通交流，帮你解决！ python库，可以直接安装使用，再也不怕自己pip下载，出现等待超时的现象。欢迎下载使用，使用过程中如有使用问题，请及时与我沟通交流，帮你解决！ python库，可以直接安装使用，再也不怕自己pip下载，出现等待超时的现象。欢迎下载使用，使用过程中如有使用问题，请及时与我沟通交流，帮你解决！
[毕设]HTTP代理服务器开发与实现.zip
07-27
[毕设]HTTP代理服务器开发与实现
PyQt5-5.15.11-cp38-abi3-win32.whl
07-27
pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。
jupyterlab_broccoli_turtle-0.4.7-py3-none-any.whl
07-27
基本介绍 名称与起源：Pillow，原名为PIL（Python Imaging Library），但PIL只支持Python 2版本。随着Python 3的普及，Pillow作为PIL的一个分支出现，兼容Python 3并提供更多的功能和改进。 主要功能：Pillow支持多种图像格式的打开、保存、显示以及基本的图像操作和处理，如裁剪、缩放、旋转、翻转、滤镜应用等。 跨平台性：Pillow库可以在不同的操作系统上运行，包括Windows、Linux和MacOS等。 主要功能模块 Pillow库包含多个功能模块，每个模块都提供了特定的图像处理功能。以下是一些常用的模块： Image：用于处理图像文件，提供打开、保存、调整大小、旋转、裁剪、滤镜等功能。 ImageDraw：提供在图像上绘制各种形状（如线条、矩形、圆形）和文本的功能。 ImageFont：用于加载和使用TrueType字体文件，以便在图像上绘制文本时设置字体样式、大小和颜色。 ImageFilter：提供各种滤镜效果，如模糊、锐化、边缘增强等，用于图像增强、特效处理和图像识别等应用。 ImageEnhance：用于调整图像的亮度、对比度、颜色饱和度等参数，使图像更加清晰、明亮或具有特定的调色效果。 高级功能 除了基本的图像处理功能外，Pillow还支持一些高级功能，如色彩空间转换、直方图均衡化等。这些功能可以帮助用户进行更复杂的图像处理和分析。
pillow-10.4.0-cp311-cp311-win32.whl
07-27
基本介绍 名称与起源：Pillow，原名为PIL（Python Imaging Library），但PIL只支持Python 2版本。随着Python 3的普及，Pillow作为PIL的一个分支出现，兼容Python 3并提供更多的功能和改进。 主要功能：Pillow支持多种图像格式的打开、保存、显示以及基本的图像操作和处理，如裁剪、缩放、旋转、翻转、滤镜应用等。 跨平台性：Pillow库可以在不同的操作系统上运行，包括Windows、Linux和MacOS等。 主要功能模块 Pillow库包含多个功能模块，每个模块都提供了特定的图像处理功能。以下是一些常用的模块： Image：用于处理图像文件，提供打开、保存、调整大小、旋转、裁剪、滤镜等功能。 ImageDraw：提供在图像上绘制各种形状（如线条、矩形、圆形）和文本的功能。 ImageFont：用于加载和使用TrueType字体文件，以便在图像上绘制文本时设置字体样式、大小和颜色。 ImageFilter：提供各种滤镜效果，如模糊、锐化、边缘增强等，用于图像增强、特效处理和图像识别等应用。 ImageEnhance：用于调整图像的亮度、对比度、颜色饱和度等参数，使图像更加清晰、明亮或具有特定的调色效果。 高级功能 除了基本的图像处理功能外，Pillow还支持一些高级功能，如色彩空间转换、直方图均衡化等。这些功能可以帮助用户进行更复杂的图像处理和分析。
pi_heif-0.17.0-cp38-cp38-macosx_12_0_x86_64.whl
最新发布
07-27
pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。pip install 直接安装，无需再下载，直接用。
asp代码ASP+ACCESS网上聊天室毕业设计(源代码+论文+开题报告+任务书+答辩PPT)
07-27
asp代码ASP+ACCESS网上聊天室毕业设计(源代码+论文+开题报告+任务书+答辩PPT)
PySizer-1.0.0-py3-none-any.whl
07-27
python库，可以直接安装使用，再也不怕自己pip下载，出现等待超时的现象。欢迎下载使用，使用过程中如有使用问题，请及时与我沟通交流，帮你解决！ python库，可以直接安装使用，再也不怕自己pip下载，出现等待超时的现象。欢迎下载使用，使用过程中如有使用问题，请及时与我沟通交流，帮你解决！ python库，可以直接安装使用，再也不怕自己pip下载，出现等待超时的现象。欢迎下载使用，使用过程中如有使用问题，请及时与我沟通交流，帮你解决！ python库，可以直接安装使用，再也不怕自己pip下载，出现等待超时的现象。欢迎下载使用，使用过程中如有使用问题，请及时与我沟通交流，帮你解决！ python库，可以直接安装使用，再也不怕自己pip下载，出现等待超时的现象。欢迎下载使用，使用过程中如有使用问题，请及时与我沟通交流，帮你解决！
pillow-10.4.0-pp39-pypy39_pp73-manylinux_2_28_x86_64.whl
07-27
基本介绍 名称与起源：Pillow，原名为PIL（Python Imaging Library），但PIL只支持Python 2版本。随着Python 3的普及，Pillow作为PIL的一个分支出现，兼容Python 3并提供更多的功能和改进。 主要功能：Pillow支持多种图像格式的打开、保存、显示以及基本的图像操作和处理，如裁剪、缩放、旋转、翻转、滤镜应用等。 跨平台性：Pillow库可以在不同的操作系统上运行，包括Windows、Linux和MacOS等。 主要功能模块 Pillow库包含多个功能模块，每个模块都提供了特定的图像处理功能。以下是一些常用的模块： Image：用于处理图像文件，提供打开、保存、调整大小、旋转、裁剪、滤镜等功能。 ImageDraw：提供在图像上绘制各种形状（如线条、矩形、圆形）和文本的功能。 ImageFont：用于加载和使用TrueType字体文件，以便在图像上绘制文本时设置字体样式、大小和颜色。 ImageFilter：提供各种滤镜效果，如模糊、锐化、边缘增强等，用于图像增强、特效处理和图像识别等应用。 ImageEnhance：用于调整图像的亮度、对比度、颜色饱和度等参数，使图像更加清晰、明亮或具有特定的调色效果。 高级功能 除了基本的图像处理功能外，Pillow还支持一些高级功能，如色彩空间转换、直方图均衡化等。这些功能可以帮助用户进行更复杂的图像处理和分析。
KEY: Message，VALUE: <OTA_InventoryCheckRS TimeStamp="1629879848173" Version="1.000" EchoToken="18029461-194a-4c7e-b372-6eec346cebd4"> <HotelResult> <HotelID>10000007</HotelID> <HotelProducts> <HotelProduct> <!--只有支持30分钟免费取消的酒店，才需要返回该节点--> <FreeCancelable FreeCancelableVal="true"\ /> <RoomTypes> <RoomType RoomTypeCode="2106"/> </RoomTypes> <RatePlans> <RatePlan RatePlanCode="302-4529"/> </RatePlans> <Prices> <Price> <Base EffectDate="2021-08-25" SalePrice="515.2" BasePrice="515.2" Allotment="53" DcOverSaleAllotment="53" DcAddAllotment="-1" DcContractAllotment="-1" DcBuyOutAllotment="-1"/> </Price> </Prices> </HotelProduct> </HotelProducts> </HotelResult> </OTA_InventoryCheckRS>转成.net core实体模型返回
05-31
</RatePlans> <Prices> <Price> <Base EffectDate=\"2021-08-25\" SalePrice=\"515.2\" BasePrice=\"515.2\" Allotment=\"53\" DcOverSaleAllotment=\"53\" DcAddAllotment=\"-1\" DcContractAllotment=\"-1\" ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值