「Python爬虫」：破解网站字体加密和反反爬虫

前言：字体反爬，也是一种常见的反爬技术，例如58同城，猫眼电影票房，汽车之家，天眼查，实习僧等网站。这些网站采用了自定义的字体文件，在浏览器上正常显示，但是爬虫抓取下来的数据要么就是乱码，要么就是变成其他字符，是因为他们采用自定义字体文件，通过在线加载来引用样式，这是CSS3的新特性，通过 CSS3，web 设计师可以使用他们喜欢的任意字体 ，然后因为爬虫不会主动加载在线的字体，

字体加密一般是网页修改了默认的字符编码集，在网页上加载他们自己定义的字体文件作为字体的样式，可以正确地显示数字，但是在源码上同样的二进制数由于未加载自定义的字体文件就由计算机默认编码成了乱码。

目标

目标：我们今天来学习爬取58同城的租房信息，获取房源信息。

数据爬取

我们先按照前面学的爬虫基本知识，拿起键盘直接开干(无经验不知道字体反爬是啥玩意)，一直在用xpath进行解析，都忘记了BeautifulSoup提取了，这里来用这个提取，回顾回顾。

import requestsfrom bs4 import BeautifulSoupurl = 'https://cs.58.com/chuzu/?PGTID=0d100000-0019-e310-48ff-c90994a335ae&ClickID=4'headers = {   
 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 
(KHTML, like Gecko) Chrome/74.0.3729.108 Safari/537.36'}
response = requests.get(url,headers=headers)html_text = response.textbs = BeautifulSoup(html_text, 'lxml')
# 获取房源列表信息,通过css选择器来
lis = bs.select('li.house-cell')
# 获取每个li下的信息for li in lis:   
 title = li.select('h2 a')[0].stripped_strings  
# stripped_strings获取某个标签下的子孙非标签字符串，会去掉空白字符。返回来的是个生成器   
 room = li.select('div.des p')[0].stripped_strings    
money = li.select('.money b')[0].string  
# 获取某个标签下的非标签字符串。返回来的是个字符串。    
print(list(title)[0], list(room)[0], money)

输出的结果：

显示乱码，在页面上看也是乱码

我们右击选择查看网页源代码