短链接服务架构设计与实现

转载 2016年08月30日 16:02:02

场景

​ 短链接服务就是将一段长的URL转换为短的URL,比如利用新浪微博的短链接生成器,可将一段长的URL(http://blog.csdn.net/poem_qianmo/article/details/52344732)转换为一段短的URL(http://t.cn/RtFFvic),用户通过访问短链接即可重定向到原始的URL。

整个交互流程如下:

  1. 用户访问短链接:http://t.cn/RtFFvic
  2. 短链接服务器t.cn收到请求,根据URL路径RtFFvic获取到原始的长链接:http://blog.csdn.net/poem_qianmo/article/details/52344732
  3. 服务器返回302状态码,将响应头中的Location设置为:http://blog.csdn.net/poem_qianmo/article/details/52344732
  4. 浏览器重新向http://blog.csdn.net/poem_qianmo/article/details/52344732发送请求
  5. 返回响应

设计要点

  • 短链接生成算法

    (1)利用放号器,初始值为0,对于每一个短链接生成请求,都递增放号器的值,再将此值转换为62进制(a-zA-Z0-9),比如第一次请求时放号器的值为0,对应62进制为a,第二次请求时放号器的值为1,对应62进制为b,第10001次请求时放号器的值为10000,对应62进制为sBc。

    (2)将短链接服务器域名与放号器的62进制值进行字符串连接,即为短链接的URL,比如:t.cn/sBc。

  • 重定向过程

    生成短链接之后,需要存储短链接到长链接的映射关系,即sBc -> URL,浏览器访问短链接服务器时,根据URL Path取到原始的链接,然后进行302重定向。映射关系可使用K-V存储,比如Redis或Memcache。

优化方案

  • 算法优化

    ​ 采用以上算法,对于同一个原始URL,每次生成的短链接是不同的,这样就会浪费存储空间,因为需要存储多个短链接到同一个URL的映射,如果能将相同的URL映射成同一个短链接,这样就可以节省存储空间了。

    (1)方案1:查表

    ​ 每次生成短链接时,先在映射表中查找是否已有原始URL的映射关系,如果有,则直接返回结果。很明显,这种方式效率很低。

    (2)方案2:使用LRU本地缓存,空间换时间

    ​ 使用固定大小的LRU缓存,存储最近N次的映射结果,这样,如果某一个链接生成的非常频繁,则可以在LRU缓存中找到结果直接返回,这是存储空间和性能方面的折中。

  • 可伸缩和高可用

    ​ 如果将短链接生成服务单机部署,缺点一是性能不足,不足以承受海量的并发访问,二是成为系统单点,如果这台机器宕机则整套服务不可 用,为了解决这个问题,可以将系统集群化,进行“分片”。

    ​ 在以上描述的系统架构中,如果发号器用Redis实现,则Redis是系统的瓶颈与单点,因此,利用数据库分片的设计思想,可部署多个发号器实例,每个实例负责特定号段的发号,比如部署10台Redis,每台分别负责号段尾号为0-9的发号,注意此时发号器的步长则应该设置为10(实例个数)。

    ​ 另外,也可将长链接与短链接映射关系的存储进行分片,由于没有一个中心化的存储位置,因此需要开发额外的服务,用于查找短链接对应的原始链接的存储节点,这样才能去正确的节点上找到映射关系。

相关文章推荐

WEB:建立短链接服务

现有在线服务在实现分享功能的时候特别需要短链接服务,已有的在线url shorten服务包括:1. TinyUrl,API地址 http://tinyurl.com/api-create.php?ur...

【《代码整洁之道》精读与演绎】之五 整洁类的书写准则

这篇文章将与大家一起聊一聊,书写整洁类的一些法则。三、整洁类的书写准则 1 合理地分布类中的代码 一般情况下,我们遵循变量列表在前,函数在后的原则。 类应该从一组变量列表开始。若有公有静...

学习go语言碰到的问题:main redeclared in this block

E:\goapp 是我的GOPATH目录 分别建立了2个文件: hello.go // hello package main import "fmt" func main() { fmt...

什么才是真正的 RESTful 架构

What? Wikipedia: 表征性状态传输(英文:Representational State Transfer,简称REST)是Roy Fielding博士于2000年在他的博士论文中提...

Spring 初探(一)(Spring起步实例)

spring基本功能初探 概括Spring 开始部分:http://spring.io/guides Building a RESTful Web Service 这部分基本是完成url访问的数据...

Spring 初探(十二)(HATEOAS REST Service)

下面对 Building a HATEOAS REST Service展开介绍 HATEOAS((Hypermedia as the Engine of Application State) 可以看做...

学计算机的,为什么要用linux?

我已经半年没有使用 Windows 的方式工作了。Linux 高效的完成了我所有的工作。GNU/Linux 不是每个人都想用的。如果你只需要处理一般的事务,打游戏,那么你不需要了解下面这些了。我不是一...

Spring Boot示例 - 2. 使用Spring Boot + Spring Data REST + Spring Data JPA构建符合HATEOAS规范的REST应用

一、概述一般使用Spring MVC + Spring Data JPA即可构建REST服务,但是这种方式要完整实现Controller层,Service层和Repository层,需要编写很多样板代...

推荐一个老外的spring HATEOAS的demo

今天遇到个新词,spring  HATEOAS,一看就知道是spring支持的项目,再查询下 居然 HATEOAS这个词是跟REST有关系的,但可惜中文资料少,只能找到英文的资料: http://e...
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:深度学习:神经网络中的前向传播和反向传播算法推导
举报原因:
原因补充:

(最多只允许输入30个字)