CHAPTER 8: 《DESIGN A URL SHORTENER》第8章 《设计一个url伸缩器》

已于 2024-01-19 13:56:25 修改
阅读量1k 收藏
点赞数
分类专栏： 后端开发心法提升秘籍 文章标签： 系统架构 设计规范 面试
于 2023-04-24 15:47:13 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_43178103/article/details/130342363
版权

CHAPTER 8: DESIGN A URL SHORTENER

在这一章中，我们将解决一个有趣而经典的系统设计面试问题:设计一个像tinyurl这样的网址缩短服务。

步骤1 -理解问题并确定设计范围

系统设计面试的问题是故意留下开放式的。精心设计系统中，提出澄清性问题是至关重要的。
候选人:你能举例说明网址缩短器是如何工作的吗?
采访者:假设URLhttps://www.systeminterview.com/q=chatsystem&c=loggedin&v=v3&l=long是原版URL。您的服务创建了一个较短长度的别名:https://tinyurl.com/ y7keocwj。如果你单击别名，它会将您重定向到原始URL。
候选人:交通流量是多少?
采访者:每天产生1亿个url。
候选人:缩短后的URL有多长?
采访者:越短越好。
候选人:缩短后的URL中允许使用哪些字符?
采访者:缩短的URL可以是数字(0-9)和字符(a- Z, a Z)的组合。
候选人:短网址可以删除或更新吗?
采访者:为了简单起见，让我们假设缩短的url不能被删除或更新

以下是基本用例:

  1. URL缩短:给定一个长URL =>返回一个更短的URL
  2. URL重定向:给定较短的URL =>重定向到原始URL
  3. 高可用性、可伸缩性和容错考虑

信封的背面估计

  • 写操作:每天生成1亿个url。
  • 每秒写操作数:1亿/ 24 /3600 = 1160
  • 读操作:假设读操作与写操作的比例为10:1，读操作每秒操作数:1160 * 10 = 11,600
  • 假设网址缩短服务将运行10年，这意味着我们必须支持1亿* 365 * 10 = 3650亿条记录。
  • 假设平均URL长度为100。
  • 10年以上存储需求:3650亿* 100字节* 10年= 365tb

对于你来说，和面试官讨论这些假设和计算是很重要的，这样你们可以达成一致。

步骤2 -提出高层次的设计并获得支持

在本节中，我们将讨论API端点、URL重定向和URL缩短流。

API端点

API端点促进了客户机和服务器之间的通信。我们将设计api restful。如果您不熟悉restful API，可以参考外部资料，例如参考资料[1]中的一个。URL缩短器主要需要两个API端点。

  1. 网址缩短。要创建一个新的短URL，客户机发送一个POST请求，其中包含
    一个参数:原始的长URL。API是这样的:
    POST api / v1 /data/shorten
    • 请求参数:{longUrl: longURLString}
    • 返回shortURL
  2. URL重定向。为了将短URL重定向到相应的长URL，客户端发送一个GET请求。API是这样的:
    GET api / v1 /shortUrl
    • 返回longURL用于HTTP重定向

URL重定向

如figure8-1所示，在浏览器中输入一个tinyurl。一旦服务器接收到一个tinyurl请求，它将短URL更改为301重定向的长URL。
在这里插入图片描述客户端和服务器之间的详细通信如figure8-2所示。
在这里插入图片描述
这里值得讨论的一件事是301重定向和302重定向。
301重定向。301重定向显示所请求的URL被“永久”移动到长URL。由于它是永久重定向的，因此浏览器会缓存响应，并且对同一URL的后续请求将不会发送到URL缩短服务。相反，请求被直接重定向到长URL服务器。
302重定向。302重定向意味着URL被“暂时”移动到长URL，这意味着对同一URL的后续请求将被发送到URL缩短服务第一。然后，它们被重定向到长URL服务器。

每种重定向方法都有其优缺点。如果优先考虑的是减少服务器负载，使用301重定向是有意义的，因为只有相同URL的第一个请求被发送到URL缩短服务器。然而，如果分析是重要的，302重定向是一个更好的选择更容易跟踪点击率和点击来源。

实现URL重定向最直观的方法是使用哈希表。假设哈希表存储<shortURL, longURL>对，URL重定向可以通过后:

  • GET longURL: longURL = hashTable.get(shortURL)
  • 获得长URL后，执行URL重定向。

网址缩短

让我们假设短URL是这样的:www.tinyurl.com/{hashValue}。为了支持URL缩短用例中，我们必须找到一个哈希函数fx，将长URL映射到hashValue，如figure8-3所示。
在这里插入图片描述
哈希函数必须满足以下要求:

  • 每个longURL必须散列到一个hashValue。
  • 每个hashValue都可以映射回longURL。

对哈希函数的详细设计进行了深入的讨论。

步骤3 -设计深度潜水

到目前为止，我们已经讨论了URL缩短和URL的高级设计重定向。在本节中，我们将深入探讨以下内容:数据模型、哈希函数、URL缩短和URL重定向。

数据模型

在高级设计中，所有内容都存储在散列表中。这是一个很好的起点;然而，由于内存资源有限，这种方法在实际系统中是不可行的和昂贵的。更好的选择是在关系中存储<shortURL, longURL>映射数据库。figure8-4展示了一个简单的数据库表设计。表的简化版本包含3列:id, shortURL, longURL。
在这里插入图片描述

哈希函数

哈希函数用于将长URL哈希为短URL，也称为hashValue

哈希值长度

hashValue由字符[0-9,a-z, a-z]组成，其中10 + 26 + 26 = 62可能的字符。要算出hashValue的长度，找到最小的n，使得62^n≥3650亿。系统必须支持最多3650亿个url信封的估计。hashValue的长度和对应的值如table8-1所示它可以支持的最大url数。
在这里插入图片描述
当n = 7,62 ^ n = ~3.5万亿时，3.5万亿足以容纳3650亿个url，所以hashValue的长度是7。
我们将探索URL缩短器的两种类型的哈希函数。第一个是“hash +”碰撞分辨率”，第二个是“62进制转换”。让我们逐一来看一下一个。

哈希+碰撞分辨率

为了缩短长URL，我们应该实现一个散列函数，将长URL散列到7-字符串。一个直接的解决方案是使用众所周知的哈希函数，比如CRC32，MD5或SHA-1。下表比较了应用不同哈希后的哈希结果此URL上的函数:https://en.wikipedia.org/wiki/Systems_design。
在这里插入图片描述
如table8-2所示，即使是最短的哈希值(来自CRC32)也太长(大于7)字符)。我们怎样才能缩短它?第一种方法是收集哈希值的前7个字符;然而，这种方法可能导致哈希冲突。为了解决哈希冲突，我们可以递归地附加一个new预定义的字符串，直到没有发现更多的冲突。figure8-5说明了这个过程
在这里插入图片描述这种方法可以消除碰撞;但是，查询数据库进行检查的成本很高如果每个请求都存在一个shortURL。一种叫做bloom filters的技术可以改进的性能。布隆过滤器是一种节省空间的概率技术，用于测试元素是否存在集合中的一员有关更多细节，请参阅参考资料[2]。

62进制转换

基转换是URL缩短器常用的另一种方法。基地转换帮助在不同的数字表示系统之间转换相同的数字。基地使用62转换，因为hashValue有62个可能的字符。让我们用解释转换如何工作的示例:将1115710转换为62进制表示(1115710在10进制中表示11157)。

  • 从它的名字可以看出，base 62是一种使用62个字符进行编码的方法。这些映射是:0 - 0,…， 9- 9,10 -a, 11-b，…， 35-z, 36-A，…， 61-Z，其中“a”代表10，“Z”代表61，等。
  • 1115710 = 2 × 622+ 55 × 621 + 59 × 620= [2, 55, 59] -> [2, T, X] in base 62
    表示。对话过程如figure8-6所示。
    在这里插入图片描述 因此，短URL是https://tinyurl.com /2TX

两种方法的比较

两种方法的区别如table8-3所示。

哈希+碰撞分辨率62进制转换
固定短URL长度短的URL长度不固定，他和ID一起上升
它不需要固定的ID生成器此选项依赖于唯一的ID生成器
碰撞是可能的，必须解决冲突是不可能的，因为ID是唯一的
不可能找出下一个可用的的短url,因为它不依赖于ID如果新条目ID增加1，则很容易找出下一个可用的短的URL，这可能是一个安全问题

网址缩短深度挖掘

作为系统的核心部分之一，我们希望URL缩短流是合乎逻辑的简单和功能。在我们的设计中使用了Base 62转换。我们构建了以下内容流程如figure8-7所示。
在这里插入图片描述

  1. longURL是输入。
  2. 系统检查longURL是否在数据库中。
  3. 如果是，则表示之前将长url转换为短url。在本例中，获取从数据库中获取shortURL并将其返回给客户端。
  4. 如果不是，则longURL是新的。一个新的唯一ID(主键)由唯一生成身份证生成器。
  5. 使用base 62转换将ID转换为shortURL。
  6. 用ID、shortURL和longURL创建一个新的数据库行

为了使流程更容易理解，让我们看一个具体的例子。

  • 假设输入的longURL为:https://en.wikipedia.org/wiki/Systems_design
  • 唯一ID生成器返回ID: 2009215674938。
  • 使用base 62转换ID为shortURL。ID为2009215674938转换为“zn9edcu”。
  • 将ID、shortURL和longURL保存到数据库中，table8-4所示
    在这里插入图片描述
    分布式唯一ID生成器值得一提。它的主要功能是生成全局唯一的id，用于创建短url。在高度分布的环境中，实现唯一ID生成器是具有挑战性的。幸运的是，我们已经做到了在“第7章:设计一个分布式的唯一ID生成器”中讨论了一些解决方案系统”。你可以回过头来复习一下。

URL重定向

URL重定向的详细设计如figure8-8所示。因为有更多的阅读写入，<shortURL, longURL>映射存储在缓存中，以提高性能。
在这里插入图片描述
URL重定向的流程总结如下:

  1. 用户单击URL短链接https://tinyurl.com/zn9edcu
  2. 负载均衡器将请求转发给web服务器。
  3. 如果短url已经在缓存中，则直接返回长url。
  4. 如果短url不在缓存中，则从数据库中获取长url。如果不是在数据库中，很可能是用户输入了无效的shortURL。
  5. longURL返回给用户。

步骤4 -打包

在本章中，我们讨论了API设计，数据模型，哈希函数，URL缩短，和URL重定向。
如果在面试结束时有额外的时间，这里有一些额外的谈话要点。

  • 速率限制器:我们可能面临的一个潜在安全问题是，恶意用户发送数据包大量的URL缩短请求。速率限制器有助于过滤基于IP地址或其他过滤规则的请求。如果你想回忆一下关于速率限制，请参见“第四章:设计速率限制器”。
  • Web服务器扩展:由于Web层是无状态的，所以很容易扩展Web层添加或删除web服务器。
  • 数据库扩展:数据库复制和分片是常用的技术。
  • 分析:数据对商业成功越来越重要。集成分析URL缩短器的解决方案可以帮助回答一些重要的问题，比如有多少人们点击链接?他们什么时候点击链接?等。
  • 可用性、一致性和可靠性。这些概念是任何大型游戏的核心系统的成功。我们在第一章已经详细讨论过了，请大家复习一下关于这些话题。
    恭喜你走了这么远!现在给自己点鼓励吧。好工作!

Reference materials 参考资料

[1] A RESTful Tutorial: https://www.restapitutorial.com/index.html
[2] Bloom filter: https://en.wikipedia.org/wiki/Bloom_filter

后端工匠之道
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
python-url-shortener:一个简单的python URL缩短器
05-12
【Python URL缩短器】是一个基于Python的项目，其主要目的是为用户提供一种简洁的方式来缩短长的URL，便于分享和管理。这个项目使用了Flask框架，这是一个轻量级的Web服务程序，适合小型应用和开发。URL缩短器的核心...
URL-Shortener:Python中的URL Shortener服务
05-04
关于该项目欢迎使用URL简化程序Web应用程序该存储库是一个旨在以Web应用程序形式实现URL缩短服务的项目。 语言：Python，HTML，CSS，Bootstrap。如何贡献为资料库加注星标叉它在本地系统中克隆分叉的存储库添加上游...
Premium-URL-Shortener:已对Premium URL Shortener进行了插件和修改
05-23
高级URL缩短器PHP API包装器的官方API包装器您的第一次整合下面的示例向您展示如何在不使用任何其他参数的情况下缩短URL。 您需要从用户控制面板的设置页面获取API密钥 include ( "API/Shortener.php" );$ shortener...
url-shortener:一个使用节点的简单网址缩短器
05-28
URL缩短器 使用Node.js的简单URL缩短器该项目目前托管在安装使用以下命令克隆该存储库： git clone https://github.com/forerosantiago/url-shortener 使用以下命令安装依赖项： npm install 使用npm start启动...
url-shortener：一个简单的URL缩短器
02-18
一个简单的自托管URL缩短器 我是打字稿的新手，可以使用此项目来了解更多有关打字稿的信息。 环境变量 默认值在src / config.ts中 端口（默认：8080） MONGODB_URI（必需） DB_NAME（默认：url_shortener） SHORT...
甄选范文“论软件测试中缺陷管理及其应用”软考高级论文，系统架构设计师论文
科技互联网领域深度探索者，乐于分享与写作。
07-25 224
软件缺陷指的是计算机软件或程序中存在的某种破坏正常运行能力的问题、错误，或者隐藏的功能缺陷。缺陷的存在会导致软件产品在某种程度上不能满足用户的需要。在目前的软件开发过程中，缺陷是不可避免的。软件测试是发现缺陷的主要手段，其核心目标就是尽可能多地找出软件代码中存在的缺陷，进而保证软件质量。软件缺陷管理是软件质量管理的一个重要组成部分。
【中项】系统集成项目管理工程师-第4章 信息系统架构-4.5技术架构
m0_66540684的博客
07-22 1057
技术架构是承载组织应用架构和数据架构的基础，它是一个由多个功能模块组成的整体，描述组织业务应用实现所采用的技术体系或组合，以及支持应用系统部署所需的基础设施和环境等。技术架构需要统筹考虑和统一规划，缺乏总体策略和思路的IT技术架构会导致投资的严重浪费和建设的时间延误等，总体功能败于最弱的环节，使IT成为业务发展的瓶颈。
【系统架构设计师】计算机组成与体系结构 ⑮ ( 流水线技术 | 流水线吞吐率计算 | 流水线加速比计算 )
让 学习 成为一种 习惯 ( 韩曙亮 の 技术博客 )
07-22 5495
一、流水线吞吐率计算 1、流水线吞吐率概念 2、流水线吞吐率示例 二、流水线加速比计算 1、流水线加速比概念 2、流水线加速比示例
【中项】系统集成项目管理工程师-第4章 信息系统架构-4.4数据架构
m0_66540684的博客
07-22 1194
在信息化早期（20世纪80年代），信息化初步建设，信息系统以单体应用为主，例如：早期的财务软件、OA办公软件等。这个时期数据管理的概念还在萌芽期，数据架构比较简单，主要就是数据模型、数据库设计，满足系统业务使用即可。
系统架构设计师教程 第3章 信息系统基础知识-3.8 典型信息系统架构模型-解读
Remon的专栏
07-22 931
系统架构设计师教程（清华第二版） 第3章 信息系统基础知识-3.8 典型信息系统架构模型-解读
【系统架构设计师】十八、信息系统架构设计理论与实践②
帅次的博客
07-25 421
信息系统的架构 (Information System Architecture,ISA) 中的Architecture含义具有丰富内涵和作用，相比计算机领域的Architecture来说它的单一性、片面性模型是难以描述ISA 的全部的，ISA 模型应该是多维度，分层次、高度集成化的模型。 要在企业中建立一个有效集成的ISA,必须考虑企业中的四个方面：战略系统、业务系统、应用系统和信息基础设施。
科普文：百度交易中台之订单系统架构浅析
为无为，事无事，味无味。
07-21 999
随着业务不断扩张，虚拟商品的购买，退款已经不能满足业务，需要扩展支持带有物流商品订单，并且在支付方式部分，需要扩展支持各类购买入口和场景，比如聚合扫码支付、小额免密支付、周期代扣。在数据模型的设计上，由于数据库分表字段只能有一个，所以这里采用计算规则将订单号和用户id进行关联，即，让一个用户所有的订单都存储在一张单表之中，具体手段就是通过用户id的一种规则作为分表字段（shardingKey），订单id生成规则和分表字段做关联，具体就不进行展开说明。（如：订单，退款，售后，客诉，商品，库存等）
【系统架构设计】数据库系统（四）
最新发布
weixin_48618536的博客
07-25 394
数据仓库建立之后，首先要从数据源中抽取相关的数据到数据准备区，在数据准备区中经过净化处理后再加载到数据仓库数据库，最后根据用户的需求将数据导入数据集市和知识挖掘库中。数据源：是数据仓库系统的基础，是整个系统的数据源泉，通常包括企业内部信息和外部信息，内部信息包括存放于RDBMS（关系型DBMS）中的各种业务处理数据和各类文档数据；本层的功能是从数据源抽取数据，对所抽取的数据进行筛选、清理，将处理过的数据导入或者说加载到数据仓库中，根据用户的需求设立数据集市，完成数据仓库的复杂查询、决策分析和知识的挖掘等。
【中项】系统集成项目管理工程师-第4章 信息系统架构-4.6网络架构
m0_66540684的博客
07-23 1035
网络是信息技术架构中的基础，不仅是用户请求和获取IT信息资源服务的通道，同时也是信息 系统架构中各类资源融合和调度的枢纽。特别是云计算、大数据和移动互联网技术飞速发展的今 天，网络更加成为实现这些技术跨越的重要环节。因此网络架构的设计在信息系统架构中有着举足 轻重的地位。
2023年系统架构设计师考试总结
zhaotianff的专栏
07-25 660
上周六参加了2023年系统架构设计师考试，这次考试与以前有点区别，是第一次采用电子化考试，也是教材改版后的第一次考试。：为了准备这次考试，我花了快10个月时间，从2月份开始准备，停掉了空余时间的其它学习，全身心投入到考试的准备中去。我先把教材从头到尾读了一遍，把自己感兴趣但是不懂的地方，查询了资料，进行扩展学习。因为每天只能看一点内容，所以看了很久才看完。考前3、4个月才看完教材。教材看完后通过做题，来强化知识点。期间，经常会有培训机构打来电话，我都拒绝了，这种培训费用动辄7、8000，不划算。
如何设计可伸缩的淘客返利系统架构
微赚开发者技术分享博客
07-22 2098
采用微服务架构将系统拆分成多个独立的服务，使用负载均衡、分库分表、缓存机制、异步处理等技术手段，提高系统的性能和扩展性。在本文中，我们将探讨如何设计一个可伸缩的淘客返利系统架构，使其能够在高并发和大数据量的环境下稳定运行并具备良好的扩展性。采用微服务架构将系统拆分成多个独立的服务，每个服务负责特定的业务功能，如用户管理、商品管理、订单管理、返利结算等。可伸缩的系统架构需要考虑以下几个方面：微服务架构设计、负载均衡、数据库分库分表、缓存机制、异步处理、监控与日志。我们将详细介绍每个部分的设计和实现。
甄选范文“论面向方面的编程技术及其应”，软考高级论文，系统架构设计师论文
科技互联网领域深度探索者，乐于分享与写作。
07-21 204
针对应用开发所面临的规模不断扩大、复杂度不断提升的问题，面向方面的编程（Aspect Oriented Programming,AOP）技术提供了一种有效的程序开发方法。为了理解和完成一个复杂的程序，通常要把程序进行功能划分和封装。一般系统中的某些通用功能，如安全性、持续性、日志记录等等，其代码是分散的，较难实现模块化，不利于程序演变、维护和更新。AOP技术将逻辑上关系松散的代码封装到一个具有某种公共行为的可重用模块，并将其命名为方面（Aspect）.
【中项】系统集成项目管理工程师-第4章 信息系统架构-4.2系统架构
m0_66540684的博客
07-22 1018
着技术的进步，信息系统的规模越来越大，复杂程度越来越高，系统的结构显得越来越重要。对于大规模的复杂系统来说，对总体的系统结构设计比起对计算算法和数据结构的选择已经变得更重要。在这种情况下，人们认识到系统架构的重要性，设计并确定系统整体结构的质量成为了重要的议题。系统架构对于系统开发时所涉及的成熟产品与相关的组织整合问题具有非常重要的作用，而系统架构师正是解决这些问题的专家。系统架构作为集成技术框架规范了开发和实现系统所需技术层面的互动，作为开发内容框架影响了开发组织和个人的互动，因此，技术和组织因素
【系统架构设计师】计算机组成与体系结构 ⑯ ( 奇偶校验码 | CRC 循环冗余码 | 海明码 | 模 2 除法 )
让 学习 成为一种 习惯 ( 韩曙亮 の 技术博客 )
07-25 531
一、校验码 1、校验码由来 2、奇偶校验码 3、CRC 循环冗余码 ( 重点考点 ) 4、海明码校验 ( 软考不经常考到 ) 二、CRC 循环冗余码 ( 重点考点 ) 1、模 2 除法概念 2、模 2 除法步骤 3、模 2 除法示例 4、CRC 循环冗余码示例 1 5、CRC 循环冗余码示例 2
用Python编写一个脚本，实现用API缩短指定URL的功能。
04-19
好的，这个问题是关于编程的，可以回答。你可以使用 Python 中的 requests 库和 pyshorteners 库来实现。具体实现过程可以参考以下代码： ```python import pyshorteners # 实例化一个短链接生成器 s = pyshorteners.Shortener() # 要缩短的链接 url = "https://www.example.com" # 使用 API 生成短链接 short_url = s.tinyurl.short(url) # 输出短链接 print(short_url) ``` 这段代码使用了 pyshorteners 库中的 API 生成器方法。你可以根据不同需求选择其他的生成器，具体可以参考 pyshorteners 文档。 希望这个答案对你有帮助！
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

后端工匠之道

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值