短地址转换原理

转载 2012年03月22日 19:38:28

http://qn-lf.iteye.com/blog/1084516


短网址应用已经在全国各大微博上开始流行了起来。例如QQ微博的url.cn,新郎的sinaurl.cn等。

我们在QQ微博上发布网址的时候,微博会自动判别网址,并将其转换,例如:http://url.cn/2hytQx

为什么要这样做的,原因我想有这样几点:

  1. 微博限制字数为140字一条,那么如果我们需要发一些连接上去,但是这个连接非常的长,以至于将近要占用我们内容的一半篇幅,这肯定是不能被允许的,所以短网址应运而生了。
  2. 短网址可以在我们项目里可以很好的对开放级URL进行管理。有一部分网址可以会涵盖暴力,广告等信息,这样我们可以通过用户的举报,完全管理这个连接将不出现在我们的应用中,应为同样的URL通过加密算法之后,得到的地址是一样的。
  3. 我们可以对一系列的网址进行流量,点击等统计,挖掘出大多数用户的关注点,这样有利于我们对项目的后续工作更好的作出决策。

其实以上三点纯属个人观点,因为在我接下来的部分项目中会应用到,所以就了解了一下,下面先来看看短网址映射算法的理论(网上找到的资料):

  1. 将长网址md5生成32位签名串,分为4段,每段8个字节;
  2. 对这四段循环处理,取8个字节,将他看成16进制串与0x3fffffff(30位1)与操作,即超过30位的忽略处理;
  3. 这30位分成6段,每5位的数字作为字母表的索引取得特定字符,依次进行获得6位字符串;
  4. 总的md5串可以获得4个6位串;取里面的任意一个就可作为这个长url的短url地址;

很简单的理论,我们并不一定说得到的URL是唯一的,但是我们能够取出4组URL,这样几乎不会出现太大的重复。

下面来看看程序部分:


  1. public static string[] ShortUrl(string url)  
  2. {  
  3.     //可以自定义生成MD5加密字符传前的混合KEY  
  4.     string key = "Leejor";  
  5.     //要使用生成URL的字符  
  6.     string[] chars = new string[]{  
  7.         "a","b","c","d","e","f","g","h",  
  8.         "i","j","k","l","m","n","o","p",  
  9.         "q","r","s","t","u","v","w","x",  
  10.         "y","z","0","1","2","3","4","5",  
  11.         "6","7","8","9","A","B","C","D",  
  12.         "E","F","G","H","I","J","K","L",  
  13.         "M","N","O","P","Q","R","S","T",  
  14.         "U","V","W","X","Y","Z"  
  15.     };  
  16.    
  17.     //对传入网址进行MD5加密  
  18.     string hex = System.Web.Security.FormsAuthentication.HashPasswordForStoringInConfigFile(key + url, "md5");  
  19.   
  20.     string[] resUrl = new string[4];  
  21.   
  22.     for (int i = 0; i < 4; i++)  
  23.     {  
  24.         //把加密字符按照8位一组16进制与0x3FFFFFFF进行位与运算  
  25.         int hexint = 0x3FFFFFFF & Convert.ToInt32("0x" + hex.Substring(i * 8, 8), 16);  
  26.         string outChars = string.Empty;  
  27.         for (int j = 0; j < 6; j++)  
  28.         {  
  29.             //把得到的值与0x0000003D进行位与运算,取得字符数组chars索引  
  30.             int index = 0x0000003D & hexint;  
  31.             //把取得的字符相加  
  32.             outChars += chars[index];  
  33.             //每次循环按位右移5位  
  34.             hexint = hexint >> 5;  
  35.         }  
  36.         //把字符串存入对应索引的输出数组  
  37.         resUrl[i] = outChars;  
  38.     }  
  39.     return resUrl;  
  40. }  

现在可以直接使用该方法,可以等到下面四组值:

 

ShortUrl(http://www.me3.cn)[0];  //得到值fAVfui 
ShortUrl(http://www.me3.cn)[1];  //得到值3ayQry 
ShortUrl(http://www.me3.cn)[2];  //得到值UZzyUr 
ShortUrl(http://www.me3.cn)[3];  //得到值36rQZn

 

在存放这个URL的数据方面,我个人推荐TTServer,有的朋友可以没有听说过,下面是这个数据库的介绍:

Tokyo Cabinet 是日本人 Mikio Hirabayashi(平林幹雄)のページ 开发的一款DBM数据库(注:大名鼎鼎的DBM数据库qdbm就是他开发的),该数据库读写非常快。insert:0.4sec/1000000 recordes(2500000qps),写入100万数据只需要0.4秒。search:0.33sec/1000000 recordes (3000000 qps),读取100万数据只需要0.33秒。

可以看到对于字典类型的数据Key/Value的查询,这个数据库可以说是我目前见过效率非常高的,况且他如此的小巧,用来对short url/long url的配对再好不过。

该系统使用6个短码字符来表示任何长度的网址。 有效的字符代码是ASCII 'A'到'Z'和'0'的'5',其中每个字符包含2 ^ 5(32)状态。  6短码字符可用于绘制32 ^ 6(1073741824)的网址

首先,你需要一个数据库表来存储和检索你映射的网址。 

  1. CREATE TABLE mappedURL (的CREATE TABLE mappedURL(   
  2. shortCode char(6) not null,   
  3. lognURL  text not null,   
  4. PRIMARY KEY  shortCodeInd (shortCode),   
  5. );   


其次,你需要定义一个算法将长的URL映射到短的URL。 算法上面已经介绍过了。

第三,你需要创建一个网页,从数据库的短网址的映射找到原始的URL,并重定向之。

---------------------------------------------------------

MD5 已经被破解了,因此不排除攻击者伪造相同 MD5 的 url 实现恶意目的的可能性。如果不考虑这种情况,md5 collision 的可能性应该是及其低的,估计你我有生之年都看不到。

另外偶不明白“相同的URL每次算出来的键值必须都是一样的”的实际用途会是什么。就算相同的 URL 对应不同的键值,一般也不会造成太大的浪费吧?只有 6 位的字母数字组合都可以容纳几十亿种变化。



我正是有md5 collision的担心才问这个问题的。相同的URL要对应相同的键值是因为每一个URL地址都需要唯一的对应到数据库中的一条表数据,但直接用URL来查询会比较慢,因为:

  1. 将要存储的URL和相关的记录数据量非常大。
  2. 而且有些URL会很长,所以要用text字段。

而如果哈希出唯一的键值用varchar来存储,再根据这个键值去查询就会非常方便快捷。


就像git里面的object hash, 目前基本上不用考虑冲突吧。

  • bit.ly等url shorter服务是怎么实现的?
  • 需不需要从hash键值反向查找url? 如果有这样的要求, url肯定需要存一个地方, 这样就可以在冲突的时候进行再散列

MD5是128位hash码(4个整数,每个整数4个字节)。因此,一个url的MD5码,有2的128次方(即2e128)个可能。随意找出来的两个url的MD5码相等的可能性,是2e128分之一,即r=2e-128

假如url经MD5后插入数据库,第一个url插入的不会发生重复,第二个MD5插入时,它跟第一条重复的概率是r。第三条url插入时,重复概率是2×r,以此类推,第n条插入时发生重复的概率是(n-1)×r。n个MD5码,其中有两个重复的概率是这些概率加和。(1+2+3+...+(n-1))×r = (1/2)×n×(n-1)×r

对于n个MD5码的集合,存在重复的概率是(1/2)*(n/2e64)e2

因此,只有n大到可以与2e64比拟,才需要考虑它的冲突问题。而2的64次方还是很大的。

所以,只要不是恶意攻击,一般应用是不太会有collision的


转:HTTP长连接和短连接原理浅析

1. HTTP协议与TCP/IP协议的关系   HTTP的长连接和短连接本质上是TCP长连接和短连接。HTTP属于应用层协议,在传输层使用TCP协议,在网络层使用IP协议。IP协议主要解决网络路由和...
  • u012110719
  • u012110719
  • 2015年08月04日 21:33
  • 442

URL短网址生成算法原理

短网址(Short URL),顾名思义就是在形式上比较短的网址。通常用的是asp或者php转向,在Web 2.0的今天,不得不说,这是一个潮流。目前已经有许多类似服务,借助短网址您可以用简短的网址替代...
  • wanghuan203
  • wanghuan203
  • 2015年03月31日 10:57
  • 21771

长链接转短链接

  • 2014年01月12日 09:48
  • 540KB
  • 下载

将短链接转化成正常链接

最近改了hosts终于能上twitter了,但是twitter上的人给的短链接我却打不开!!!!!于是折腾了一会儿后,终于找到了一个靠谱的将短链接转化成正常链接的方法。转化成正常链接后就可以正常访问了...
  • luo123n
  • luo123n
  • 2015年11月23日 22:45
  • 1289

短链接转换器

  • 2013年06月14日 22:56
  • 120KB
  • 下载

URL去重

http://blog.csdn.net/historyasamirror/article/details/6746217 发现我有好几篇blog的前缀都是用的“不简单”,它大概描述了这...
  • f81892461
  • f81892461
  • 2013年02月19日 21:02
  • 1616

URL去重思路

URL去重
  • u011878191
  • u011878191
  • 2015年05月05日 13:53
  • 773

长链接 转短链接URL的设计思路

在网上看到有人对 长链接URL 转 短链接URL的思路和看法,感觉挺好
  • qq_33530388
  • qq_33530388
  • 2017年09月22日 20:13
  • 415

短地址转换原理

http://qn-lf.iteye.com/blog/1084516 短网址应用已经在全国各大微博上开始流行了起来。例如QQ微博的url.cn,新郎的sinaurl.cn等。 我们在...
  • libertea
  • libertea
  • 2012年03月22日 19:38
  • 8867

HTTP长连接和短连接原理浅析

1. HTTP协议与TCP/IP协议的关系 HTTP的长连接和短连接本质上是TCP长连接和短连接。HTTP属于应用层协议,在传输层使用TCP协议,在网络层使用IP协议。IP协议主要解决网络路由和...
  • sheng_bin
  • sheng_bin
  • 2016年11月22日 20:31
  • 2349
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:短地址转换原理
举报原因:
原因补充:

(最多只允许输入30个字)