python爬虫爬小说网站涉及到(js加密,CSS加密)

我是对于xxxx小说网进行爬取只讲思路不展示代码请见谅

一.涉及到的反爬
js加密

css加密

请求头中的User-Agent以及 cookie

二.思路
1.对于js加密
对于有js加密信息,我们一般就是找到他加密的js

使用execjs模块来执行js代码即可

2.对于css加密
常见的css加密就是加css样式中的before或者after来插入内容

所有呢我们一般使用

from request-html import html

然后利用字符串的拼接拼接成一个完整的html字符串

然后html = HTML(html=html字符串)转换成一个html对象

最后呢bingo调用html对象的render执行js代码把藏属性里的字符串拿出来

3.对于cookie
利用session这个对象进行自动存储cookie

三.pycharm打印机制的漏洞
这个爬小说时候会碰到

你print(response.text)的时候为空

其实不一定是空,最好的方式再进行文件存储
最后，小编想说：我是一名python开发工程师整理了一套最新的python系统学习教程，想要这些资料的可以关注私信小编“01”即可，希望能对你有所帮助