python 控制浏览器注入js_js注入+chrome插件爬虫

本例以http://www.biqugexsw.com/30_30505/为例

页面如下

(1)什么是js注入

首先观察控制台例子的控制台，发现所有的链接在.linsmain下

在console.log下输入

Var s=$(".listmain a");

for(var i=0;i

便能获得所有链接

这就是简单的js注入

python爬虫

Python简单便捷为爬虫首选语言

爬取(1)中的内容并用正则表达式处理

开始爬取单章内容，以http://www.biqugexsw.com/30_30505/13935714.html

为例

在观察

的控制台

对比之后发现因为这个网站做过反爬虫处理，具体的小说文字被隐藏，关于如何做反反爬虫处理有很多方法，以下只说其中的js注入反反爬虫处理

反反爬虫

在这之前需要理清一下思路

第一现在需要的是控制台底下的这些源码利用console.log注入js可以获取

第二将获取的文字存储到本地，js很难实现这样的功能，那么需要一种可以存储文件的语言