获得来自搜索引擎的关键字

一般情况下通过关键词进入的页面都是用户想要的内容，对于某些搜索搜录与关键词相关度不是很高的页面（例如列表页），我们需要根据用户搜索的关键词对用户进行引导，从而提高用户的体验，也可以提高网页的PV。

　　本文的原理是通过获取来源页面，分析来源URL的结构，提取出关键字，这些都是比较简单的东西。本文阐述重点是如何区分出几种常见的URL编码方式，然后进行相应的解码。因为应用是在ASP中进行，因此本文若有代码相关的例子，均是在ASP下调试通过的。其他语言下思想相同，且实现相对简单些。

　　提取各个搜索引擎的关键字

　　现在的各大搜索引擎全是基于GET请求方式的，即在URL后面带有一串参数。例如：我搜索“秋寒博客”

　　谷歌：http://www.google.cn/search?sourceid=navclient&hl=zh-CN&ie=UTF-8&rlz=1T4GGLL_zh-CN___CN352&q=%e7%a7%8b%e5%af%92%e5%8d%9a%e5%ae%a2

　　百度：http://www.baidu.com/s?wd=%C7%EF%BA%AE%B2%A9%BF%CD

　　必应：http://cn.bing.com/search?q=%E7%A7%8B%E5%AF%92%E5%8D%9A%E5%AE%A2&form=QBLH&filt=all

　　谷歌和Google的 q=%e7%a7%8b%e5%af%92%e5%8d%9a%e5%ae%a2 ，百度的 wd=%C7%EF%BA%AE%B2%A9%BF%CD ，必应的 q=%E7%A7%8B%E5%AF%92%E5%8D%9A%E5%AE%A2 中带下划线部分就是关键词。 其他搜索引擎也大致相同，通过URL就可以看出关键词的字段是哪个，然后可以通过正则将关键词提出。

　　提取主流搜索关键词的正则如下：

　　(?:yahoo.+?[\?|&]p=|openfind.+?query=|google.+?q=|lycos.+?query=|onseek.+?keyword=|search\.tom.+?word=|search\.qq\.com.+?word=|zhongsou\.com.+?word=|search\.msn\.com.+?q=|yisou\.com.+?p=|sina.+?word=|sina.+?query=|sina.+?_searchkey=|sohu.+?word=|sohu.+?key_word=|sohu.+?query=|163.+?q=|baidu.+?wd=|baidu.+?kw=|baidu.+?word=|3721\.com.+?p=|Alltheweb.+?q=|soso.+?w=|115.+?q=|youdao.+?q=|sogou.+?query=|bing.+?q=|114.+?kw=)([^&]*)

　　 以上正则是我根据网上的正则有所修改，让其支持soso、115、youdao、sogou、bing（必应）、114（或118114）这些搜索，感谢作者提供。因为网上转载太多，尚未注明原出处，因此我也无法标明原作者。

　　编码类型的识别

　　GB2312和UTF-8

　　从上面的例子我们可以看出，同样是搜索“秋寒博客”，但是不同的搜索对URL编码后，形成的字符串也不同。谷歌和必应下面是“%e7%a7%8b%e5%af%92%e5%8d%9a%e5%ae%a2”，而在百度却是“%C7%EF%BA%AE%B2%A9%BF%CD”。相信对网页编码了解的朋友都应该了解这是怎么回事，不同的页面编码（charset）对相同的字符进行编码后，产生的编码也是不同的。UTF-8默认产生的是UTF-8的编码，默认解码也是UTF-8。GB2312等也一样的。谷歌和必应用的是UTF-8编码，而百度用的是GB2312编码，就造成了相同的关键词在不同的搜索下产生了不同的字符串。

　　对于UTF-8和GB2312的解码都可以实现，但是如果不知道目标是什么编码方式，就不知道如何去解码了。如上面的两个字符串，初给你看，看不来是用何种编码方式。当然第一反应是通过搜索来判断编码方式，这种方法确实可行也有效。但是看看上面的正则，如果用这种方法，那么一个 if 后面要跟很多的 or 才行。网上一般用的也是这样的方法，我觉得这个不是最好的方法。我们得知的信息有：1、%xx%xx格式都是URL编码（UTF-8或GB2312）；2、GB2312中汉字要两组%xx组成一个汉字，UTF-8要三组%xx组成一个汉字；3、如果用UTF-8解码方式去解GB2312的编码就会出现乱码。

　　单从长度和编码的范围我们根本无法辨别编码方式，只能通过其他方式来判断。根据上面3点，我们可以做一个假设：如果用UTF-8解码方式来解GB2312的编码会出现什么情况？因为UTF-8是有三组%xx组成的，而GB2312是由两组%XX组成的，如果用UTF-8的解码方式去解GB2312且能解码成功，那解码后的字符的长度一定会变短。例如：GB2312URL编码的“秋寒博客”（%C7%EF%BA%AE%B2%A9%BF%CD）用UTF-8解码，若能解码成功，解码后的字符长度会是2个半汉字。如果不能解码成功，不用说就是GB2312编码方式了。

　　OK，至此我们初步已经知道如何去识别URL的编码类型了，步骤如下：

　　1、获取关键字编码串；

　　2、取得编码串的组数（x），例如：“%C7%EF%BA%AE%B2%A9%BF%CD 为8组；

　　3、用UTF-8解码方式去解取得的编码串；

　　4、如果解码失败（即程序出错）跳到第 8 步；

　　5、如果解码成功，取得解码后的字符串长度（y），与全面的编码串的组数除以3比较；

　　6、如果 x!=y 那么跳转到第 8 步；

　　7、如果 x=y 那么得到的字符串即为关键字；

　　8、用GB2312方式解码，得到的字符串为关键字；

　　上面步骤中，有几点需要注意：

　　1、第1步中需要将非汉字的URL转义及英文去掉；

　　2、第2、3、5步中的编码串为上面提到的字符串；

　　3、第7、8步中解码需要对原字符串进行；

　　UNICODE

　　在测试的过程中，发现soguo从网页跳到图片去的时候，会将URL编码方式改为UNICODE。UNICODE的方式相对比较好区分，即判断是否为\uxxxx或%uxxxx的形式即可。这个相对简单，只分享在ASP中的解码函数。

　　以下代码来自CSDN论坛：

　　方法一：

　　response.Write vbsUnEscape("\u5c0f\u867e\u7c73")

　　Function vbsUnEscape(str)'解密

　　　　dim i,s,c

　　　　s=""

　　　　For i=1 to Len(str)

　　　　　　c=Mid(str,i,1)

　　　　　　If Mid(str,i,2)="\u" and i<=Len(str)-5 Then

　　　　　　　　If IsNumeric("&H" & Mid(str,i+2,4)) Then

　　　　　　　　　　s = s & CHRW(CInt("&H" & Mid(str,i+2,4)))

　　　　　　　　　　i = i+5

　　　　　　　　Else

　　　　　　　　　　s = s & c

　　　　　　　　End If

　　　　　　ElseIf c="%" and i<=Len(str)-2 Then

　　　　　　　　If IsNumeric("&H" & Mid(str,i+1,2)) Then

　　　　　　　　　　s = s & CHRW(CInt("&H" & Mid(str,i+1,2)))

　　　　　　　　　　i = i+2

　　　　　　　　Else

　　　　　　　　　　s = s & c

　　　　　　　　End If

　　　　　　Else

　　　　　　　　s = s & c

　　　　　　End If

　　　　Next

　　　　vbsUnEscape = s

　　End Function

　　方法二：

　　s = "\u5c0f\u867e\u7c73"

　　s = Replace(s, "\u", "%u")

　　Response.Write Unescape(s)

　　在C#中也没有发现能识别URL编码格式的函数或方法，不知在PHP和JAVA下有没有更好的方法呢？欢迎大家讨论。

　　来源：读者沈力投稿，原文地址。