短链接学习day2

无人指南

已于 2024-07-05 17:22:57 修改

阅读量912

点赞数 7

文章标签：学习

于 2024-07-05 15:01:57 首次发布

本文链接：https://blog.csdn.net/weixin_63374588/article/details/140199615

版权

用户敏感信息脱敏展示：

@RequestParam 和 @PathVariable的区别

注解是用于从request中接收请求的，两个都可以接收参数，关键点不同的是@RequestParam 是从request里面拿取值，而 @PathVariable 是从一个URI模板里面来填充。

@PathVariable：主要用于接收http://host:port/path/{参数值}数据。

@RequestParam：主要用于接收http://host:port/path?参数名=参数值数据，这里后面也可以不跟参数值。

BeanUtil.toBean（）方法

在Hutool工具包中，BeanUtil类的toBean()方法用于将一个对象或Map转换成指定类型的JavaBean对象。我们先创建了一个数据源对象product，然后，通过调用BeanUtil.toBean()方法，将数据源对象product转换成目标类型 productVo的JavaBean对象vo。

需要注意的是，转换过程中，BeanUtil.toBean()方法通过反射机制创建了目标类型的实例，并将数据源对象的属性值复制到目标对象中。所以，需要保证数据源对象和目标类型的属性名称和类型保持一致，否则无法正确转换属性值。所以在创建ProductVo时，是继承于Product的。另外，还需要在项目中引入Hutool的相关依赖才能使用BeanUtil类的方法。

PhoneDesensitizationSerializer：

package com.nageoffer.shortlink.admin.common.serialize;

import cn.hutool.core.util.DesensitizedUtil;
import com.fasterxml.jackson.core.JsonGenerator;
import com.fasterxml.jackson.databind.JsonSerializer;
import com.fasterxml.jackson.databind.SerializerProvider;

import java.io.IOException;

/**
 * 手机号脱敏反序列化
 */
public class PhoneDesensitizationSerializer extends JsonSerializer<String> {

    @Override
    public void serialize(String phone, JsonGenerator jsonGenerator, SerializerProvider serializerProvider) throws IOException {
        String phoneDesensitization = DesensitizedUtil.mobilePhone(phone);
        jsonGenerator.writeString(phoneDesensitization);
    }
}

UserRespDTO：

不知道为什么我都加了注解，也有文件，可是脱敏就是不生效，压根没走PhoneDesensitizationSerializer。

补充：后续发现是因为我手机号是乱输入的，很短，然后不符合它的脱敏规则。

用户注册：

检查用户名是否存在：

海量用户如果说查询的用户名存在或不存在，全部请求数据库，会将数据库直接打满。

方法1：将数据库已有的用户名全部放到缓存里。

该方案问题：

是否要设置数据的有效期？只能设置为无无有效期，也就是永久数据。
如果是永久不过期数据，占用 Redis 内存太高。

方法2：使用布隆过滤器。

布隆过滤器是一种数据结构，用于快速判断一个元素是否存在于一个集合中。具体来说，布隆过滤器包含一个位数组和一组哈希函数。位数组的初始值全部置为 0。在插入一个元素时，将该元素经过多个哈希函数映射到位数组上的多个位置，并将这些位置的值置为 1。

在查询一个元素是否存在时，会将该元素经过多个哈希函数映射到位数组上的多个位置，如果所有位置的值都为 1，则认为元素存在；如果存在任一位置的值为 0，则认为元素不存在。

优点：

高效地判断一个元素是否属于一个大规模集合。
节省内存。

缺点：

可能存在一定的误判。

布隆过滤器误判理解

布隆过滤器要设置初始容量。容量设置越大，冲突几率越低。
布隆过滤器会设置预期的误判值。

误判能否接受

布隆过滤器的误判是否能够接受？

答：可以容忍。为什么？因为用户名不是特别重要的数据，如果说我设置用户名为 aaa，系统返回我不可用，那我大可以在 aaa 的基础上再加一个a，也就是 aaaa。

布隆过滤器的使用：

<dependency>
    <groupId>org.springframework.boot</groupId>
    <artifactId>spring-boot-starter-data-redis</artifactId>
</dependency>

<dependency>
    <groupId>org.redisson</groupId>
    <artifactId>redisson-spring-boot-starter</artifactId>
</dependency>

spring:
  data:
    redis:
      host: 127.0.0.1
      port: 6379
      password: 123456

创建布隆过滤器实例：

import org.redisson.api.RBloomFilter;
import org.redisson.api.RedissonClient;
import org.springframework.boot.context.properties.EnableConfigurationProperties;
import org.springframework.context.annotation.Bean;
import org.springframework.context.annotation.Configuration;

/**
 * 布隆过滤器配置
 */
@Configuration
public class RBloomFilterConfiguration {

    /**
     * 防止用户注册查询数据库的布隆过滤器
     */
    @Bean
    public RBloomFilter<String> userRegisterCachePenetrationBloomFilter(RedissonClient redissonClient) {
        RBloomFilter<String> cachePenetrationBloomFilter = redissonClient.getBloomFilter("xxx");
        cachePenetrationBloomFilter.tryInit(0, 0);
        return cachePenetrationBloomFilter;
    }
}

tryInit 有两个核心参数：

expectedInsertions：预估布隆过滤器存储的元素长度。
falseProbability：运行的误判率。

错误率越低，位数组越长，布隆过滤器的内存占用越大。

错误率越低，散列 Hash 函数越多，计算耗时较长。

一个布隆过滤器占用大小的在线网站：Bloom Filter Calculator

使用布隆过滤器的两种场景：

初始使用：注册用户时就向容器中新增数据，就不需要任务向容器存储数据了。
使用过程中引入：读取数据源将目标数据刷到布隆过滤器。

private final RBloomFilter<String> userRegisterCachePenetrationBloomFilter;

/**
     * 查询用户名是否存在
     * @param username
     * @return 存在，true 不存在，false
     */
    @Override
    public Boolean hashUsername(String username) {
        return userRegisterCachePenetrationBloomFilter.contains(username);
    }

用户注册：

一定要记得写枚举的时候是用逗号分割。

redis使用：

由于很久没用过redis了，所以我忘记了怎么启动了。

可以参考这个文档，为了防止下一次找不到redis文件了，记得一定要配置环境变量。

redis的启动需要先打开redis-server.exe然后再用可视化工具连接即可。

如果redis没有密码，但是本地application.yml又配置了redis密码，就会导致报错：Factory method 'redisson' threw exception with message: Unable to connect to Redis server: 127.0.0.1/127.0.0.1:6379

Window下Redis的安装和部署详细图文教程（Redis的安装和可视化工具的使用）_redis安装-CSDN博客

自动填充字段

自动填充字段 | MyBatis-Plus

难点：

由于在注册时，将用户记录添加到数据库时，同时将用户名添加到布隆过滤器中。但是为了防止redis的主节点挂掉后，从节点变成主节点时，有些数据还没复制，就会导致脏数据，就会可能导致用户名重复，所以为了防止这个情况，我们需要将username设置为唯一索引，让数据库兜底。

如何防止恶意请求毫秒级触发大量请求去一个未注册的用户名？

因为用户名没注册，所以布隆过滤器不存在，代表着可以触发注册流程插入数据库。但是如果恶意请求短时间海量请求，这些请求都会落到数据库，造成数据库访问压力。这里通过分布式锁，锁定用户名进行串行执行，防止恶意请求利用未注册用户名将请求打到数据库。

用redisson实现分布式锁。

UserServiceImpl：

private final RedissonClient redissonClient;

/**
     * 注册用户
     *
     * @param requestParam
     */
    @Override
    public void register(UserRegisterReqDTO requestParam) {
        if(hashUsername(requestParam.getUsername())){
            throw new ClientException(UserErrorCodeEnum.USER_NAME_EXIST);
        }
        RLock lock = redissonClient.getLock(LOCK_USER_REGISTER_KEY+requestParam.getUsername());
        try{
            if(lock.tryLock()){
                int inserted=baseMapper.insert(BeanUtil.toBean(requestParam,UserDO.class));
                if(inserted<1){
                    throw new ClientException(UserErrorCodeEnum.USER_SAVE_ERROR);
                }
                userRegisterCachePenetrationBloomFilter.add(requestParam.getUsername());
                return;
            }
            throw new ClientException(UserErrorCodeEnum.USER_NAME_EXIST);
        }finally {
            lock.unlock();
        }
    }


/**
 * 短链接后管 Redis 缓存常量类
 * 类描述： RedisCacheConstant
 **/
public class RedisCacheConstant {
    public static final String LOCK_USER_REGISTER_KEY="short-link:lock_user-register:";
}

用户分库分表：

为什么要分库分表？

数据量庞大。
查询性能缓慢，之前可能是 20ms，后续随着数据量的增长，查询时间呈指数增长。
数据库连接不够。

什么是分库分表？

分库和分表有两种模式，垂直和水平。

分库两种模式：

垂直分库：电商数据库拆分为用户、订单、商品、交易等数据库。

水平分库：用户数据库，拆分为多个，比如User_DB_0 - x。

分表两种模式：

垂直分表：将数据库表按照业务维度进行拆分，将不常用的信息放到一个扩展表。

水平分表：将用户表水平拆分，展现形式就是 User_Table_0 - x。

什么场景下分库分表？

数据量过大或者数据库表对应的磁盘文件过大。

Q：多少数据分表？

什么情况下分库？

连接不够用。

MySQL Server 假设支持 4000 个数据库连接。一个服务连接池最大 10 个，假设有 40 个节点。已经占用了 400 个数据库连接。

类似于这种服务，有10个，那你这个 MySQL Server 连接就不够了。

又分库又分表？

高并发写入或查询场景。

数据量巨大场景。

数据库分库分表框架 ShardingSphere

Sharding-JDBC。

System.out.printf：这是Java中用于向控制台输出格式化字符串的方法。

分片键：

shardingsphere实现分表功能：

引入依赖：

<dependency>
    <groupId>org.apache.shardingsphere</groupId>
    <artifactId>shardingsphere-jdbc-core</artifactId>
    <version>5.3.2</version>
</dependency>

定义分片规则：

spring:
  datasource:
  	# ShardingSphere 对 Driver 自定义，实现分库分表等隐藏逻辑
    driver-class-name: org.apache.shardingsphere.driver.ShardingSphereDriver
    # ShardingSphere 配置文件路径
    url: jdbc:shardingsphere:classpath:shardingsphere-config.yaml

shardingsphere-config.yaml：

# 数据源集合
dataSources:
  ds_0:
    dataSourceClassName: com.zaxxer.hikari.HikariDataSource
    driverClassName: com.mysql.cj.jdbc.Driver
    jdbcUrl: jdbc:mysql://127.0.0.1:3306/link?useUnicode=true&characterEncoding=UTF-8&rewriteBatchedStatements=true&allowMultiQueries=true&serverTimezone=Asia/Shanghai
    username: root
    password: root

rules:
  - !SHARDING
    tables:
      t_user:
        # 真实数据节点，比如数据库源以及数据库在数据库中真实存在的
        actualDataNodes: ds_0.t_user_${0..15}
        # 分表策略
        tableStrategy:
          # 用于单分片键的标准分片场景
          standard:
            # 分片键
            shardingColumn: username
            # 分片算法，对应 rules[0].shardingAlgorithms
            shardingAlgorithmName: user_table_hash_mod
    # 分片算法
    shardingAlgorithms:
      # 数据表分片算法
      user_table_hash_mod:
        # 根据分片键 Hash 分片
        type: HASH_MOD
        # 分片数量
        props:
          sharding-count: 16
# 展现逻辑 SQL & 真实 SQL
props:
  sql-show: true

逻辑表：相同结构的水平拆分数据库（表）的逻辑名称，是 SQL 中表的逻辑标识。（t_user）

真实表：在水平拆分的数据库中真实存在的物理表。

敏感信息加密存储：

加密配置：

# 配置数据源，底层被 ShardingSphere 进行了代理
dataSources:
  ds_0:
    dataSourceClassName: com.zaxxer.hikari.HikariDataSource
    driverClassName: com.mysql.cj.jdbc.Driver
    jdbcUrl: jdbc:mysql://127.0.0.1:3306/link?useUnicode=true&characterEncoding=UTF-8&rewriteBatchedStatements=true&allowMultiQueries=true&serverTimezone=Asia/Shanghai
    username: root
    password: root

rules:
# 数据加密存储规则
  - !ENCRYPT
    # 需要加密的表集合
    tables:
      # 用户表
      t_user:
        # 用户表中哪些字段需要进行加密
        columns:
          # 手机号字段，逻辑字段，不一定是在数据库中真实存在
          phone:
            # 手机号字段存储的密文字段，这个是数据库中真实存在的字段
            cipherColumn: phone
            # 身份证字段加密算法
            encryptorName: common_encryptor
          mail:
            cipherColumn: mail
            encryptorName: common_encryptor
        # 是否按照密文字段查询
        queryWithCipherColumn: true
    # 加密算法
    encryptors:
      # 自定义加密算法名称
      common_encryptor:
        # 加密算法类型
        type: AES
        props:
          # AES 加密密钥
          aes-key-value: d6oadClrrb9A3GWo
props:
  sql-show: true

无人指南

关注

7
点赞
踩
13

收藏

觉得还不错? 一键收藏
0
评论
短链接学习day2

需要注意的是，转换过程中，BeanUtil.toBean()方法通过反射机制创建了目标类型的实例，并将数据源对象的属性值复制到目标对象中。但是为了防止redis的主节点挂掉后，从节点变成主节点时，有些数据还没复制，就会导致脏数据，就会可能导致用户名重复，所以为了防止这个情况，我们需要将username设置为唯一索引，让数据库兜底。因为用户名不是特别重要的数据，如果说我设置用户名为 aaa，系统返回我不可用，那我大可以在 aaa 的基础上再加一个a，也就是 aaaa。一定要记得写枚举的时候是用逗号分割。
复制链接

扫一扫