一次Python爬虫实战，解决反爬问题！_多多防爬

查看后发现是一个字体文件：

然后打开字体查看文件，把字体文件拖拽进去,如下图所示：（使用软件为FontCreator，可以查看字体的软件）

如果不想使用软件，可以打开百度字体平台网站，对应页面和软件打开是一样的

粗略一看其实发现不了什么，所以我们需要使用fontTools第三方库查看字体文件：

from fontTools.ttLib import TTFont
font = TTFont('./wKgHFVsUz1eAH_VRAABj9PS-ubk57..ttf')
print(font.getGlyphOrder())

结果如下图所示：

然后我们发现比如在先前的特殊字符表中，

这三个字应该分别对应于，大 、的、一，首先大对应的后缀为edb8,在字体文件的输出的列表中中有一个uniEDB8,对应于第六个，然后再FontCreator软件中刚好对应第六个汉字大，如下图所示：

所以规律就是这样的。

四、数据抓取

1、先把对应的汉字打出来储存在一个列表中；

word_list = ['很', '五', '多', '远', '大', '十', '更', '了', '的', '矮', '不', '少', '九', '三', '八', '一', '右', '坏', '近', '着', '呢','左', '是', '长', '六', '上', '短', '七', '高', '二', '得', '好', '下', '和', '四', '地', '小', '低']

2、把字体文件对应的特殊字符保存到另一个列表中，边进行处理；

font = TTFont('wKgHFVsUz1eAH_VRAABj9PS-ubk57..ttf')
unilist = font.getGlyphOrder()
uni_list = []
for i in unilist[1:]:
    s = r'\u' + i[3:]
    uni_list.append(s)
print(uni_list)

但是问题出现了，结果如下：

我们发现出现了两个反斜线，所以需要使用eval函数简单修改：

font = TTFont('wKgHFVsUz1eAH_VRAABj9PS-ubk57..ttf')

unilist = font.getGlyphOrder()
# print(unilist)

uni_list = []
for i in unilist[1:]:
    # print(i)
    s = eval(r"'\u" + i[3:] + "'")
    # print(s)
    uni_list.append(s)

3、由于之前得到的不完整的文章数据是以一个列表的形式，所以需要把他拼接为字符串，然后使用replace(old,new)，进行替换：

# ....前面代码省略
html = etree.HTML(result)  # result为请求网页源码

content = html.xpath("//div[@class='tz-paragraph']//text()")

contents = ''.join(content)

4、最后进行替换：

for i in range(len(uni_list)):
    contents = contents.replace(uni_list[i], word_list[i])

print(contents)

结果如下，文字替换成功：

五、小结

通常在爬取一些网站的信息时，偶尔会碰到这样一种情况：网页浏览显示是正常的，用 Python 爬取下来是乱码，F12用开发者模式查看网页源代码也是乱码。这种一般是网站设置了字体反爬。

字体反爬是一种比较常见的反爬方式，因为很多网站的文字信息是比较重要的，像是前面提到的猫眼电影电影票房评分等数据，非常重要，网站维护者当然会把这种数据进行反爬处理，只要好好分析，还是能够抓取到目标数据。

在学习python中有任何困难不懂的可以扫码加入python交流学习，多多交流问题，互帮互助，这里有不错的学习教程和开发工具。

点此免费领取：CSDN大礼包：《python学习路线&全套学习资料》免费分享

Python学习大纲

Python所有方向的技术点做的整理，形成各个领域的知识点汇总，它的用处就在于，你可以按照上面的知识点去找对应的学习资源，保证自己学得较为全面。

入门学习视频

最后

Python崛起并且风靡，因为优点多、应用领域广、被大牛们认可。学习 Python 门槛很低，但它的晋级路线很多，通过它你能进入机器学习、数据挖掘、大数据，CS等更加高级的领域。Python可以做网络应用，可以做科学计算，数据分析，可以做网络爬虫，可以做机器学习、自然语言处理、可以写游戏、可以做桌面应用…Python可以做的很多，你需要学好基础，再选择明确的方向。这里给大家分享一份全套的 Python 学习资料，给那些想学习 Python 的小伙伴们一点帮助！

👉Python所有方向的学习路线👈

Python所有方向的技术点做的整理，形成各个领域的知识点汇总，它的用处就在于，你可以按照上面的知识点去找对应的学习资源，保证自己学得较为全面。

👉Python必备开发工具👈

工欲善其事必先利其器。学习Python常用的开发软件都在这里了，给大家节省了很多时间。

👉Python全套学习视频👈

我们在看视频学习的时候，不能光动眼动脑不动手，比较科学的学习方法是在理解之后运用它们，这时候练手项目就很适合了。

👉实战案例👈

学python就与学数学一样，是不能只看书不做题的，直接看步骤和答案会让人误以为自己全都掌握了，但是碰到生题的时候还是会一筹莫展。

因此在学习python的过程中一定要记得多动手写代码，教程只需要看一两遍即可。

👉大厂面试真题👈

我们学习Python必然是为了找到高薪的工作，下面这些面试题是来自阿里、腾讯、字节等一线互联网大厂最新的面试资料，并且有阿里大佬给出了权威的解答，刷完这一套面试资料相信大家都能找到满意的工作。

需要这份系统化学习资料的朋友，可以戳这里无偿获取

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！