某网页数据爬取记录

在某网站上进行搜索，发现搜索内容(明)和传递数据（密）有如下关系：

明：北京大学
密：789C7BDA33FDC9AE354F972C7FBA761900391708BB
明：北京大
密：789C7BDA33FDC9AE354F972C070020DF0683
明：北京
密：789C7BDA33FDC9AE35000F480453
明：北
密：789C7BDA331D0004610209

我一直以为这是某种加密传递。知道前段时间看了base64编码的相关知识，才意识到自己傻逼了。但看编码的内容明显不是base64，而应该是base16。

用python下的base64模块进行解码：

import base64
>>>base64.b16decode(b'789C7BDA331D0004610209')
b'x\x9c{\xda3\x1d\x00\x04a\x02\t'

解码之后，还是不能明白到底是啥意思。于是google了一下'x\x9c'发现这有可能使用zlib压缩之后的结果。

>>> zlib.decompress(b'x\x9c{\xda3\x1d\x00\x04a\x02\t')
b'\xe5\x8c\x97'

到这里，就很明显是一个中文的utf-8编码。

>>> b'\xe5\x8c\x97'.decode()
'北'

剩下的事情，就是遍历一下。哈哈哈哈………………