短链接处理方案

任性的代码

已于 2024-06-15 15:36:57 修改

阅读量513

点赞数 24

分类专栏： JAVA 短链文章标签：前端

于 2024-06-13 16:39:20 首次发布

本文链接：https://blog.csdn.net/qq_38805769/article/details/139656115

版权

JAVA 同时被 2 个专栏收录

1 篇文章 0 订阅

订阅专栏

短链

1 篇文章 0 订阅

订阅专栏

一.前言

本文主要讲解如何设计一个高性能短链服务简单实现，其中的主要技术栈包括：Java，redis，redisson，nginx，布隆过滤器等，以下是所有设计思路以及实现原理，希望对大家能有一些帮助，如有不正确的地方可以相互探讨。

二.实现原理

三.实现代码及过程

1.根据租户ID+短链编码绑定长链接

// 2210/xUotq9zM=》https://www.longchain.com/?tenantId=2210&reportId=4791625355171467265
// 获取长链接
String primitiveUrl = shareH5Properties.getH5() + "/?tenantId=" + tenantId + "&reportId=" + reportId;
// 根据租户ID+长链接获取短链编码
String shortLinkCode = shortLinkCodeUtil.getShortLinkCode(tenantId, primitiveUrl);
ShortLinkDO shortLinkDO = new ShortLinkDO()
                .setCode(shortLinkCode)// 短链编码
                .setPrimitiveUrl(primitiveUrl)// 长链接
                .setShortLink(shareH5Properties.getShortLinkH5() + "/" + tenantId + "/" + shortLinkCode)// 短链接
                .setExpiresTime(LocalDateTime.now().plusMonths(3));// 过期时间
// 保持到数据库
shortLinkMapper.insert(shortLinkDO);

2.短链编码生成工具类(核心业务)

package cn.iocoder.ydtq.module.gas.check.util;
import cn.hutool.core.util.RandomUtil;
import cn.iocoder.ydtq.module.gas.check.dal.redis.RedisKeyConstants;
import cn.iocoder.ydtq.module.gas.check.dal.redis.check.ShortLinkCodeLockRedisDAO;
import com.alibaba.fastjson.JSONObject;
import com.google.common.hash.BloomFilter;
import com.google.common.hash.Hashing;
import lombok.extern.slf4j.Slf4j;
import org.springframework.data.redis.core.StringRedisTemplate;
import org.springframework.stereotype.Component;
import org.springframework.util.ObjectUtils;
import javax.annotation.Resource;
import java.nio.charset.StandardCharsets;
import java.time.LocalDateTime;
import java.time.format.DateTimeFormatter;
import java.util.HashMap;
import java.util.Map;
import java.util.concurrent.atomic.AtomicReference;
/**
 * 短链接编码
 *
 * @author 
 */
@Component
@Slf4j
public class ShortLinkCodeUtil {
    private static String SHORT_LINK_CODE = "short_link_code:%s";
    private static final char[] CHARS = new char[]{
            '0', '1', '2', '3', '4', '5', '6', '7', '8', '9',
            'A', 'B', 'C', 'D', 'E', 'F', 'G', 'H', 'I', 'J', 'K', 'L', 'M', 'N', 'O', 'P', 'Q', 'R', 'S', 'T', 'U', 'V', 'W', 'X', 'Y', 'Z',
            'a', 'b', 'c', 'd', 'e', 'f', 'g', 'h', 'i', 'j', 'k', 'l', 'm', 'n', 'o', 'p', 'q', 'r', 's', 't', 'u', 'v', 'w', 'x', 'y', 'z'
    };
    // 最小
    private static final int MIN = 0;
    // 字符长度
    private static final int SIZE = CHARS.length;
    // 自定义长链接防重复字符串
    private static final String DUPLICATE = "*";
    @Resource
    private StringRedisTemplate stringRedisTemplate;// redis
    @Resource
    private ShortLinkCodeLockRedisDAO shortLinkCodeLockRedisDAO;// redisson分布式锁
    @Resource
    private BloomFilter bloomFilter;// 布隆过滤器
    /**
     * 获取随机编码
     *
     * @param tenantId
     * @return
     */
    public String getShortLinkCode(Long tenantId, String originalURL) {
        AtomicReference<StringBuffer> sb = new AtomicReference<>(new StringBuffer());
        shortLinkCodeLockRedisDAO.lock(tenantId, RedisKeyConstants.CHECK_REPORT_TIMEOUT_MILLIS, () -> {
            String url = originalURL;
            // url转短字符串
            String shortURL = hashToBase62(url);
            // 保留长度为1的短链接（不允许长度为1，长度为1的强行再hash一次）
            while (shortURL.length() == 1) {
                url += DUPLICATE;
                shortURL = hashToBase62(url);
            }
            // 在布隆过滤器中查找是否存在，如果已经存在了，则再重新HASH一次（还是为了提高性能，减少插入时撞主键的概率，减少数据库的压力嘛）
            boolean ifBloonContain = true;
            while (ifBloonContain) {
                // 可能存在，重新HASH
                if (bloomFilter.mightContain(tenantId + shortURL)) {
                    url += DUPLICATE;
                    shortURL = hashToBase62(url);
                } else {
                    // 不存在则跳出循环，继续往下走
                    ifBloonContain = false;
                }
            }
            // 循环生成唯一编码编制
            boolean flag = true;

            // 缓存中map的集合
            Map redisMap = JSONObject.parseObject(stringRedisTemplate.opsForValue().get(formatKey(tenantId)), Map.class);
            if (ObjectUtils.isEmpty(redisMap)) {
                redisMap = new HashMap();
            }
            while (flag) {
                sb.set(new StringBuffer(shortURL));
                // 总长度限制为8
                int i = 0, length = 8 - sb.get().length() > 0 ? 8 - sb.get().length() : 0;
                for (; i < length; i++) {
                    sb.get().append(ShortLinkCodeUtil.CHARS[RandomUtil.randomInt(MIN, SIZE)]);
                }
                if (ObjectUtils.isEmpty(redisMap.get(sb.get().toString()))) {
                    flag = false;
                } else {
                    flag = true;
                    url += DUPLICATE;
                    shortURL = hashToBase62(url);
                }
            }
            redisMap.put(sb.get().toString(), LocalDateTime.now().format(DateTimeFormatter.ofPattern("yyyy-MM-dd HH:mm:ss")));
            bloomFilter.put(tenantId + shortURL);
            stringRedisTemplate.opsForValue().set(formatKey(tenantId), JSONObject.toJSONString(redisMap));
        });
        return sb.get().toString();
    }

    /**
     * 使用MurmurHash对url进行hash
     *
     * @param str 需要hash的字符串
     * @return hash值的Base62编码=》一般为6位字符串
     * @description 这里使用 Google 出品的 MurmurHash 算法。
     * MurmurHash 是一种非加密型哈希函数，适用于一般的哈希检索操作。
     * 与其它流行的哈希函数相比，对于规律性较强的 key，MurmurHash 的随机分布特征表现更良好。
     * 非加密意味着着相比 MD5，SHA 这些函数它的性能肯定更高（实际上性能是 MD5 等加密算法的十倍以上）
     */
    public String hashToBase62(String str) {
        int i = Hashing.murmur3_32_fixed().hashString(str, StandardCharsets.UTF_8).asInt();
        long num = i < 0 ? Integer.MAX_VALUE - (long) i : i;
        return toBase62(num);
    }

    /**
     * 10进制数字转Base62编码
     *
     * @param num 10进制数字
     * @return String
     */
    private String toBase62(long num) {
        StringBuilder sb = new StringBuilder();
        while (num > 0) {
            int i = (int) (num % SIZE);
            sb.append(CHARS[i]);
            num /= SIZE;
        }
        return sb.reverse().toString();
    }

    /**
     * Base62编码转十进制数字
     *
     * @param str Base62编码
     * @return long
     */
    public long toInt10(String str) {
        long result = 0;
        for (int i = 0; i < str.length(); i++) {
            result = result * SIZE + new String(CHARS).indexOf(str.charAt(i));
        }
        return result;
    }

    private static String formatKey(Long tenantId) {
        return String.format(SHORT_LINK_CODE, tenantId);
    }

}

3.longchain.com业务服务器根据租户ID+短链编码获取对应长链，并且重定向

@GetMapping("/{tenantId}/{code}")
@Operation(summary = "重定向：获得安检短链接原始地址")
@Parameter(name = "tenantId", description = "租户ID", required = true)
@Parameter(name = "code", description = "编码", required = true)
@PermitAll
public void getPrimitiveUrl(
        @PathVariable("tenantId") Long tenantId,
        @PathVariable("code") String code,
        HttpServletRequest request,
        HttpServletResponse response) throws IOException {
    log.info("租户ID{}，编码{}", tenantId, code);
    // 根据租户ID+短链编码获取长链，并且重定向
    response.sendRedirect(openCheckReportService.getPrimitiveUrlByCode(tenantId, code));
}

4.short.cc服务器重定向配置(此处使用宝塔的301重定向示例配置)

s.short.cc(重定向域名)=>https://www.longchain.com/open-api/open/api/check(目标url)=》访问3的接口获取原始长链并且重定向

5.布隆过滤器

依赖引入

<!--Google Guava 使用google的guava布隆过滤器实现-->
<dependency>
    <groupId>com.google.guava</groupId>
    <artifactId>guava</artifactId>
    <version>31.1-jre</version>
</dependency>

package cn.iocoder.ydtq.module.gas.check.config;

import com.google.common.hash.BloomFilter;
import com.google.common.hash.Funnels;
import org.springframework.context.annotation.Bean;
import org.springframework.context.annotation.Configuration;

import java.nio.charset.Charset;

/**
 * 布隆过滤器
 *
 * @author 
 */
@Configuration
public class BloomFilterConfig {

    @Bean
    public BloomFilter<String> bloomFilter() {
        // 初始化布隆过滤器
        BloomFilter<String> bloomFilter = BloomFilter.create(Funnels.stringFunnel(Charset.defaultCharset()), 1000000, 0.01);
        return bloomFilter;
    }
}

6.redisson分布式锁部分实现()

package cn.iocoder.ydtq.module.gas.check.dal.redis.check;

import cn.iocoder.ydtq.module.gas.check.dal.redis.RedisKeyConstants;
import org.redisson.api.RLock;
import org.redisson.api.RedissonClient;
import org.springframework.stereotype.Repository;
import org.springframework.util.ObjectUtils;

import javax.annotation.Resource;
import java.util.concurrent.TimeUnit;


/**
 * 短链接编码创建的分布式锁 Redis DAO
 *
 * @author 
 */
@Repository
public class ShortLinkCodeLockRedisDAO {

    @Resource
    private RedissonClient redissonClient;

    /**
     * 获得分布式锁，执行逻辑
     *
     * @param id            通知任务编号
     * @param timeoutMillis 过期时间
     * @param runnable      逻辑
     */
    public void lock(Long id, Long timeoutMillis, Runnable runnable) {
        if (!ObjectUtils.isEmpty(id)) {
            String lockKey = formatKey(id);
            RLock lock = redissonClient.getLock(lockKey);
            try {
                lock.lock(timeoutMillis, TimeUnit.MILLISECONDS);
                // 执行逻辑
                runnable.run();
            } finally {
                lock.unlock();
            }
        } else {
            // 执行逻辑
            runnable.run();
        }
    }

    private static String formatKey(Long id) {
        return String.format(RedisKeyConstants.SHORT_LINK_CODE, id);
    }

}