熊熊玩python

话不多说，进入正题，我就不说怎么安装selenium、怎么用webdriver了，有人要是不会可以私信我哈。不过我想，这里混的都是大佬，不会比我这种小白程序员差，我也就做个分享而已。 目录 一、导入需求的模块 二、初始化，设置cookie 2.1、初始化 2.2、设置cookie 三、开始爬虫 3.1、点击“查看更多” 3.2、滑动滚动条 3.3、获取数据 四、完整代码 五、...

Scrapy框架 创建项目 scrapy startproject testspider 创建了很多文件和文件夹 爬虫文件在spider文件夹下 通信原理 爬虫程序发请求给引擎 url从引擎到调度器，进入队列，处理url 把url给下载器，下载器进入网站发请求，得到html源码 html源码交给爬虫程序做解析 数据交给管道文件做数据处理，并存入数据库 如果做多重爬虫，可...