weixin_52596593的博客

Scrapy 是开源和协作的一个基于 Twisted 实现的异步处理爬虫框架使用纯 Python 语言编写，被誉为爬虫界的Django，Scrapy 框架应用广泛，常用于数据采集、网络监测，以及自动化测试等mac、linux系统在Windows中可能会出现报错等情况这是因为依赖没有安装需要先安装相关依赖创建Scrapy爬虫项目在pycharm中运行Scrapy架构工作流程Scrapy 框架构成组件：Scrapy 工作流程示意图如下所示：1.2增加爬虫的爬取效率持

XPath（全称：XML Path Language）即 XML 路径语言，它是一门在 XML 文档中查找信息的语言，最初被用来搜寻 XML 文档，同时它也适用于搜索 HTML 文档。因此，在爬虫过程中可以使用 XPath 来提取相应的数据。xpath在python中的使用2.selenium动作链用来实现网站中有些严重需要按住鼠标滑动的效果方式一：暴力的将图片移动到指定位置方式二：图片一点一点的移动到指定位置通过动作链自动登录12306网站3.使用打码平台自动登录