布隆过滤器(day14)

最新推荐文章于 2023-03-26 18:59:08 发布
最新推荐文章于 2023-03-26 18:59:08 发布
阅读量119 收藏
点赞数
分类专栏： 分布式与微服务
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_35671247/article/details/116744044
版权

4.4 布隆过滤器

4.4.1 介绍

布隆过滤器（Bloom Filter）是1970年由布隆提出的。它实际上是一个很长的二进制向量和一系列随机映射函数。布隆过滤器可以用于检索一个元素是否在一个集合中。它的优点是空间效率和查询时间都比一般的算法要好的多，缺点是有一定的误识别率和删除困难。

4.4.2 计算机进制换算

1字节 = 8比特
1kb = 1024字节
1mb = 1024kb
在这里插入图片描述

4.4.3 业务场景

假设数据库中有1000万数据,每条记录大约2kb 如果该数据都是热点数据,则需要多大的内存空间进行存储? 19G数据!!!

问题: 能否优化内存数据的存储呢??? 尽可能少占用内存空间.
想法: 如果使用1个**bit(01)**代表一个数据, 问占用多大空间 1.19M

4.4.4 布隆过滤器原理

核心1: 很长的二进制向量(有方向的叫向量，无方向的叫标量)
核心2: 多个hash函数
解决问题: 校验数据是否存在!!!

在这里插入图片描述
1).数据加载过程
在这里插入图片描述
2).数据校验

在这里插入图片描述
3).存在问题
好的布隆算法可以将误判率 降低到 < 0.03%
在这里插入图片描述

5 Redis分片机制

5.1 为什么需要分片

说明: 如果有海量的内存数据需要保存,但是都把数据保存到1个redis中,查询的效率太低.如果这台redis服务器宕机,.则整个缓存将不能使用.
解决方案: 采用redis分片机制.
注意：
6379，6380，6381三个redis数据库存储的数据是不是一样的？
答案肯定是不一样的，如果一样的那么我们分片机制还有意义了吗
在这里插入图片描述

5.2 Redis分片搭建

5.2.1 准备配置文件

在这里插入图片描述

5.2.2 修改端口号

说明: 分别将6379/6380/6381的端口号进行配置
vim 6380.conf
:/port 检索端口号 然后进行修改
:wq进行保存
在这里插入图片描述

5.2.3 启动三台redis

[root@localhost shards]# redis-server 6379.conf & redis-server 6380.conf & redis-server 6381.conf &

校验redis
在这里插入图片描述

5.2.4 redis分片入门案例

 /**
     * 3台redes  key如何存储??  79/80/81
     */
    @Test
    public void testShards(){
        List<JedisShardInfo> shards = new ArrayList<>();
        shards.add(new JedisShardInfo("192.168.126.129", 6379));
        shards.add(new JedisShardInfo("192.168.126.129", 6380));
        shards.add(new JedisShardInfo("192.168.126.129", 6381));
        ShardedJedis shardedJedis = new ShardedJedis(shards);
        shardedJedis.set("shards", "redis分片机制");
        System.out.println(shardedJedis.get("shards"));
    }

5.3 一致性hash算法

5.3.1 介绍

一致性哈希算法在1997年由麻省理工学院提出，是一种特殊的哈希算法，目的是解决分布式缓存的问题。 [1] 在移除或者添加一个服务器时，能够尽可能小地改变已存在的服务请求与处理请求服务器之间的映射关系。一致性哈希解决了简单哈希算法在分布式哈希表( Distributed Hash Table，DHT) 中存在的动态伸缩等问题 [2] 。
核心知识:
1. 一致性hash解决了数据与节点的映射关系(数据归谁管理)
2. 节点增加/减少时,数据可以弹性伸缩.

5.3.2 一致性hash算法原理

在这里插入图片描述

5.3.3 特性-平衡性

说明: 平衡性是指hash的结果应该平均分配到各个节点，这样从算法上解决了负载均衡问题
解决策略: 引入虚拟节点
在这里插入图片描述

5.3.4 特性-单调性

②单调性是指在新增或者删减节点时，不影响系统正常运行。
说明: 无论节点增/减,数据都能找到与之匹配的node进行数据的挂载.

5.3.5 特性-分散性

③分散性是指数据应该分散地存放在分布式集群中的各个节点(节点自己可以有备份)，不必每个节点都存储所有的数据 [4] 。
谚语: 鸡蛋不要放到一个篮子里.
百度原理图1:
在这里插入图片描述
百度原理图2:
在这里插入图片描述

5.4 SpringBoot整合Redis分片

5.4.1 编辑配置文件

#单台redis配置
#redis.host=192.168.126.129
#redis.port=6379

#Redis分片机制
redis.nodes=192.168.126.129:6379,192.168.126.129:6380,192.168.126.129:6381

5.4.2 编辑配置类

package com.hc.config;

import org.springframework.beans.factory.annotation.Value;
import org.springframework.context.annotation.Bean;
import org.springframework.context.annotation.Configuration;
import org.springframework.context.annotation.PropertySource;
import redis.clients.jedis.Jedis;
import redis.clients.jedis.JedisPoolConfig;
import redis.clients.jedis.JedisShardInfo;
import redis.clients.jedis.ShardedJedis;

import java.util.ArrayList;
import java.util.List;

@Configuration //标识为一个配置类，一般整合第三方
@PropertySource("classpath:/properties/redis.properties")
public class RedisConfig {

    @Value("${redis.nodes}")
    private String nodes;//node,node,node
    @Bean
    public ShardedJedis shardedJedis(){
        List<JedisShardInfo> shards=new ArrayList<>();
        String[] nodeArray=nodes.split(",");
        for(String node:nodeArray){//node=host:port
            String host=node.split(":")[0];
            int port=Integer.parseInt(node.split(":")[1]);
            JedisShardInfo info=new JedisShardInfo(host,port);
            shards.add(info);

        }
        //2.编辑redis配置文件,调整链接数量
        /*JedisPoolConfig jedisPoolConfig = new JedisPoolConfig();
        jedisPoolConfig.setMinIdle(10); //最小空闲数量
        jedisPoolConfig.setMaxIdle(40); //最大的空闲数量
        jedisPoolConfig.setMaxTotal(1000);
        ShardedJedisPool shardedJedisPool =
                new ShardedJedisPool(jedisPoolConfig, shards);
        return shardedJedisPool.getResource();*/

        return new ShardedJedis(shards);
    }

//    @Value("${redis.host}")
//    private String host;
//    @Value("${redis.port}")
//    private Integer port;
//
//    @Bean   //将该方法的返回值,交给Spring容器管理
//    public Jedis jedis(){
//
//        return new Jedis(host,port);
//    }
}

5.4.3 修改RedisAOP

在这里插入图片描述
注意事项：如果6379或者其中一台redis服务器宕机，我们再去访问manage.hc.com然后查询缓存，会发现找不到并且控制台报错，连接超时

6.Redis哨兵机制

6.1 关于Redis分片特点

Redis分片可以实现内存数据的扩容,但是如果节点宕机则直接影响程序的运行.
问题关键: 如果节点宕机,需要实现高可用.

6.2 Redis数据同步配置

6.2.1 复制目录

说明: 将shards目录复制 并且改名为sentinel
在这里插入图片描述

在这里插入图片描述
删除sentinel目录下无用的持久化文件

6.2.2 启动3台redis

说明: 1.删除原有的持久化文件
2.启动3台redis
在这里插入图片描述

6.2.3 主从结构搭建

  1. 6379 主机
  2. 6380/6381 从机

在这里插入图片描述
2.主从挂载命令

slaveof   192.168.126.129 6379

在这里插入图片描述

6.3 Redis哨兵实现

6.3.1 哨兵原理

在这里插入图片描述
说明:
1.当哨兵启动时,会链接redis主节点,获取所有节点的相关信息.
2.当哨兵通过心跳检测机制 PING -PONG 命令校验服务器是否正常.
3.如果哨兵连续3次发现服务器没有响应,则断定当前主机宕机.
4.之后由哨兵采用随机算法挑选其中的一个从机当选主机.并且其他的节点当做新主机的从.

6.3.2 配置哨兵服务

1).复制文件
cp sentinel.conf sentinel/
2).关闭保护模式

在这里插入图片描述
3).开启后台运行
在这里插入图片描述
4).哨兵监控
在这里插入图片描述
5).修改宕机时间
在这里插入图片描述

6.3.3 哨兵命令

1.启动 redis-sentinel sentinel.conf
2.关闭哨兵 ps -ef |grep redis
kill -9 PID号
在这里插入图片描述

6.3.4 哨兵高可用测试

1).关闭6379主机,检查从机是否当选主机
2).检查从机的配置文件 是否以后关联了主机
在这里插入图片描述
最后一行代表 我是谁的从
如果搭建错误,.则需要删除最后一条主从关系.,之后重启服务器.重新搭建.

6.4 SpringBoot整合哨兵

6.4.1 入门案例

/**
     * 测试哨兵API
     */
    @Test
    public void testSentinel(){
        Set<String> sets = new HashSet<>();
        sets.add("192.168.126.129:26379");
        JedisPoolConfig poolConfig = new JedisPoolConfig();
        poolConfig.setMinIdle(10);
        poolConfig.setMaxIdle(40);
        poolConfig.setMaxTotal(1000);
        JedisSentinelPool pool = new JedisSentinelPool("mymaster",sets,poolConfig);
        Jedis jedis = pool.getResource();
        jedis.set("AAA", "您好Redis");
        System.out.println(jedis.get("AAA"));
        jedis.close();
    }

6.5 关于Redis分片/哨兵总结

1.分片作用: 扩大内存实现海量数据数据的存储. 缺点: 没有实现高可用
2.哨兵作用: 实现了节点的高可用. 缺点: 1.哨兵不能实现扩容 2.哨兵本身没有高可用
想法: 能否有一种机制 既可以实现内存扩容,又可以实现高可用(不需要第三方)

7.Redis集群规则

7.1关于集群搭建错误说明

1).关闭redis集群
2).删除多余的配置文件
在这里插入图片描述
3).重启redis
4).搭建redis集群

北溟有渔1024
关注
专栏目录
Redis布隆过滤器
m0_64262620的博客
01-11 132
简介 布隆过滤器是一种概率型数据结构（Probabilistic data structures），对插入和查询比较高效，能够计算 “某样东西 一定不存在 或者 可能存在 ”。 如果存在那就是可能存在（hash的碰撞） 如果不存在那就一定不存在 相比于传统的 List、Set、Map 等数据结构，它更高效插入和查询、占用空间更少，但是缺点是其返回的结果可能是误判存在的，合理设置长度以及hash 函数的个数可以提高准确率。 布隆过滤器原理 向布隆过滤器添加元素 key 时, 会使用多个 has.
Golang实现布隆过滤器
布史之铭
12-07 1016
文章目录什么是布隆过滤器Go实现布隆过滤器 什么是布隆过滤器   布隆过滤器应用很广泛，比如垃圾邮件过滤，爬虫的url过滤，防止缓存击穿、比特币交易查询等。相比使用数组，集合，树等数据结构实现数据过滤，布隆过滤器有更好的时间效率和空间效率。虽然布隆过滤器存在一定的误判率 , 但只会误判，不会漏判，且误差率在百万分之一左右。 布隆过滤器的核心是一个超大的位数组和几个哈希函数。假设位数组的长度为m,...
golang实现的布隆过滤器_Golang中的布隆过滤器
weixin_31000273的博客
12-23 297
1. 布隆过滤器的概念布隆过滤器(Bloom Filter) 是由 Howard Bloom在1970年提出的二进制向量数据结构，它具有很好的空间和时间效率，被用来检测一个元素是不是集合中的一个成员，即判定 “可能已存在和绝对不存在” 两种情况。如果检测结果为是，该元素不一定在集合中；但如果检测结果为否，该元素一定不在集合中,因此Bloom filter具有100%的召回率。2. 布隆过滤器应用场...
【中等】认识布隆过滤器－Java
最新发布
了解➔熟悉➔掌握➔精通
03-26 718
package live.every.day.ProgrammingDesign.CodingInterviewGuide.BigDataAndSpaceRestriction; /** * 认识布隆过滤器 * * 【题目】 * 不安全网页的黑名单包含100亿个黑名单网页，每个网页的URL最多占用64B。现在想要实现一种网页过滤系统，可以根据网页的URL判 * 断该网页是否在黑名单上，请设计该系统。 * * 【要求】 * 1.该系统允许有万分之一以下的判断失误率。 * 2.使用的额外空间
布隆过滤器+CBF scala实现+代码详解
Braylon的博客
02-19 1020
文章目录简介BloomFilterBloomFilter的简单优化改进BloomFilterspark 的布隆过滤器scala实现BF、CBF 简介 布隆过滤器可以说是在大数据的处理算法方面经常使用的基础算法。 在这方面我看了很多的博客，确实看到了很多很详细的解释和总结，但是都是零散的，没有很全面的在原理和实现，以及实现代码的解析等方面做的很全面的。所以我将我自己整理的东西很完整的和大家分享。 其...
布隆过滤器go实现
10-13 4029
1 布隆过滤器原理 布隆过滤器一般用来判断一个数据是否在一个很大的数据集合里面。当然可以用数组，集合，树等数据结构和各种查找法都可以做同样的事情，但是布隆过滤器有更好的时间效率和空间效率。比特币实现SPV节点时使用了布隆过滤器来查询交易。布隆过滤器可以判断一个数在不在集合里，但存在一定的误判率。 布隆过滤器的核心是一个超大的位数组和几个哈希函数。假设位数组的长度为m,哈希函数的个数为k。 ...
借助Redis Bitmap实现简单的布隆过滤器
伍六七的博客
03-08 756
要初始化一个布隆过滤器的话，需要两个参数：预估的元素数量，以及可接受的最大误差（即假阳性率）。Bitmap在Redis中并不是一个单独的数据类型，而是由字符串类型（Redis内部称Simple Dynamic String，SDS）之上定义的与比特相关的操作实现的，此时SDS就被当做位数组了。另外，setbit指令不会重置对应Key的过期时间戳。Redis提供的Bitmap正好能够作为布隆过滤器所需要的位数组的基础，本文先简要介绍Bitmap，然后给出基于它的布隆过滤器实现。
day 51 hbase 过滤 器布隆过滤器
qq_41464008的博客
12-02 1184
文章目录一、过滤器1、常见的比较运算符2、常见的比较器BinaryComparatorBinaryPrefixComparatorRegexStringComparatorSubstringComparator3、常见过滤器rowKey过滤器：RowFilter列簇过滤器：FamilyFilter列过滤器：QualifierFilter列值过滤器：ValueFilter4、专用过滤器单列值过滤器：SingleColumnValueFilter列值排除过滤器：SingleColumnValueExcludeF
Go语言实现布隆过滤器
码农印象
11-24 747
1 布隆过滤器原理 布隆过滤器一般用来判断一个数据是否在一个很大的数据集合里面。当然可以用数组，集合，树等数据结构和各种查找法都可以做同样的事情，但是布隆过滤器有更好的时间效率和空间效率。比特币实现SPV节点时使用了布隆过滤器来查询交易。布隆过滤器可以判断一个数在不在集合里，但存在一定的误判率。 布隆过滤器的核心是一个超大的位数组和几个哈希函数。假设位数组的长度为m,哈希函数的个数为k。   以上图为例，在这里维数组长度为18，哈希函数个数为3...
详解布隆过滤器+scrapyredis持久化去重
weixin_41855723的博客
09-20 827
前提 网上大部分python实现的布隆过滤器库如：pybloomfilter、pybloom 但都是基于py2且哈希函数用的都是sha1类、md5类，效率不如mmh3.所以决定自己实现， git地址：https://github.com/Sssmeb/BloomFilter 第一次自己实现库 求星星！！ 也欢迎讨论、指教！！ Bloom Filter（布隆过滤器） 布隆过滤器是一种多哈希函数映射的...
【微服务】Day17（酷鲨商城前台业务总结、布隆过滤器、Docker）
shortcutsuccess的博客
10-20 1344
布隆过滤器能够实现使用较少的空间来判断一个指定的元素是否包含在一个集合中布隆过滤器并不保存这些数据,所以只能判断是否存在,而并不能取出该元素使用情景:凡是判断一个元素是否在一个集合中的操作,都可以使用它布隆过滤器常见使用场景idea中编写代码,一个单词是否包含在正确拼写的词库中(拼写不正确划绿线的提示)公安系统,根据身份证号\人脸信息,判断该人是否在追逃名单中爬虫检查一个网址是否被爬取过…所谓的虚拟机,就是在当前计算机系统中,又开启了一个虚拟系统这个虚拟系统,我们要安装Linux系统。
JSD-2204-布隆过滤器-虚拟机-Docker-Docker基础命令-Day17
TheNewSystrm的博客
10-08 343
JSD-2204-布隆过滤器-虚拟机-Docker-Docker基础命令-Day17
如何解决谷歌浏览器禁用https配置
qq_35671247的博客
05-23 3036
如何解决谷歌浏览器禁用https配置 该报错显示的是https请求域名报错. 谷歌浏览器自动的将请求转化为https请求协议. https请求协议. http:// https:// 更加安全 会生成动态的证书.权威机构颁布. 购买域名/完成备案 网址输入: chrome://net-internals/#hsts 输入网址之后点击删除, 清空浏览器缓存,重启浏览器即可 结果显示，跳转成功，问题解决！！！ ...
SpringCloud(day03)
qq_35671247的博客
06-07 895
Hystrix 系统容错工具 1.快速失败-避免后台服务阻塞，故障向前传播，引起雪崩效应 2.限流 降级： 调用后台服务失败时（异常，服务崩溃，超时），执行当前服务中的一段代码，来向客户端发回相应结果。 1.添加hystrix依赖 2.启动类添加注解：@EnableCircuitBreaker 3.添加降级代码 //在远程调用方法上，添加注解，指定降级方法 //调用远程服务失败时，会自动跳转到指定的方法，执行降级代码 @HystrixCommand(fallbackMethod=“方法名”) public
AOP缓存的实现（day13）
qq_35671247的博客
05-13 550
1. AOP缓存的实现 1.1 自定义注解 在hcds-common下创建一个新的包，名字叫com.hc.annotation,作为自定义注解的包，注解名称命名为CacheFind package com.hc.annotation; import java.lang.annotation.ElementType; import java.lang.annotation.Retention; import java.lang.annotation.RetentionPolicy; import java.
分布式day01(友情客串1)
qq_35671247的博客
11-01 240
1. 华创电商平台 1.1 知识点概述 springboot项目( spring,springmvc,mybatis,mybatis-plus) 如何让项目稳定的运行（高并发） 企业不同项目之间的交互(前后端分离，多个项目之间交互)ajax，跨域思想 概念（什么是什么）理解核心业务板块，代码可以不写，但是业务一定要精 完成企业项目的实践，将项目部署到Linux服务器下，并通过域名访问（manage.hc.com） 1.2 华创电商项目架构 tomcat的并发量是多少啊？150-220之间 200 通过
分布式day03
qq_35671247的博客
07-04 214
1.MP API介绍 /** * 查询案例1: 查询Id=4 的用户 * Id代表主机的含义 */ @Test public void testSelectById(){ User user = userMapper.selectById(4); System.out.println(user); } /** * 查询案例2: 查询name="八戒"的人 * Sql: select * from
布隆过滤器与Hash算法详解
布隆过滤器最初由布隆在1970年提出，至今仍广泛应用于大数据处理和互联网服务中，如搜索引擎、缓存系统和分布式存储等。 BloomFilter的基本操作包括插入和查询。在插入过程中，每个元素会经过k个相互独立的哈希函数...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值