目录
THE BEGIN
一 什么是字体反爬
二 如何解密
1.人工解密
2.工具解密
三 建立映射关系
四 解密
THE BEGIN
网页数据爬取可以简单分为三步：抓取页面，分析页面，存储数据。其中第一二步最为头疼，因为每个站点各有特色，你要不断检查网页结构寻找其规律，更不用说现在各种各样的反爬虫手段了。
一般来说，大多数网站会从三方面反爬虫：用户请求，如请求头检测；用户行为，如限制IP短时间频繁访问；网站加载方式，如Ajax异步加载。
今天来看看另一种常见反爬手段：字体反爬。
一 什么是字体反爬？
在这里有一个例子【实习僧】
大学生找实习求职招聘网站 | 实习僧www.shixiseng.com
进入官网，打开开发者模式，可以观察到关键信息在页面上显示正常，但是源码是乱码
在这里，源代码中展示的并不是纯粹的数字，而是在页面使用了font-face定义了字符集，并通过unicode去映射展示。这对于正常访问的用户没有影响，因为浏览器会加载css中的font字体为用户渲染好，而对于爬虫来说却极其不友好，因为爬取下来的关键信息都是乱码。这在一定程度上起到了反爬虫的作用，因为数据被加密了！
那么，对于这种字体反爬该怎么处理呢？
二 如何解密
正如前文所说，反爬是通过字符集建立映射关系，将正常信息加密成一串乱码。那么首先，我们要找到这些映射关系在哪。
右键查看网页源码，查找font-face，可以看到字体信息密密麻麻一长串。
这些，就是我们所需要的信息了，接下来就是如何解密了。
在这里有两种方法可以解密
1. 人工解密
这种方法最简单，如果需要寻找的字符映射不多（如获取薪资，只有数字0-9）则可以通过观察网页寻找字符映射关系。当样本足够多时，你就可以自己建立一个映射表。
不过这种方法不能长期使用，网站一旦更新字体映射就会失效，需要重新找规律。
2.工具解密
把上面的font-face这一段字符串爬取出来，可以看到这些字体源是用了base64加密，可以用base64库进行提取，把提取后的字体文件保存到shixi.ttf中。（ttf是字体的一种类型）
ttf文件无法直接打开，可以用软件FontCreator打开，然后查看每一个字符对应的编码。
这里我们可以看到该网站加密了数字，字母、中文，足足100个，像第一种方法手动找规律肯定是行不通的。
当然，还有万能的python库，fontTools，可以用python代码来操作ttf文件。
这里我们用这个库来进行字体解密
三 建立映射关系
ttf文件无法直接打开，我们可以将其转换成xml文件，并观察有没有什么规律。
观察，cmap结点下存在对应关系，code所示即为网页上源码形式。但是用getBestCmap()函数获取后又变成十进制的数了，所以需要用hex()函数将10进制整数转换成16进制，以字符串形式表示成原来的行。另外第一行的map没有用，需要删除才能继续解析。
到此还没结束，观察站点，每个数据都有前缀&#x，所以我们还需进行前缀替换。至此，映射关系就建立好了。
四 解密
得到映射关系后，我们就可以用映射表对获取到的HTML源码进行清洗替换，之后就可以用爬虫正常爬取数据了。
这里观察页面结构，中规中矩，可以考虑用Beautiful Soup爬虫库进行爬取
之后，就得到我们想要的数据了，清洗汇总就可以进行进行数据分析了。
最后
爬虫不易
前端工程师也不易
大家记得要文明爬虫
也欢迎大家关注我的公众号【数据自留地】
每周更多爬虫、数据分析干货
扫一扫
375
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
