scrapy框架爬取淘宝网站信息+selenium自动登录获取cookie

scrapy介绍

Scrapy是一个适用于Python的快速、高层次的屏幕抓取和web抓取框架。以下是关于Scrapy的详细介绍：

概述：

• Scrapy是用于抓取web站点并从页面中提取结构化数据的强大工具。
  它基于Twisted异步网络框架，具有高效的异步处理能力，可以并发地下载和处理多个页面。
• Scrapy不仅仅是一个简单的HTML解析器，它是一个完整的爬虫框架，具有高度的可扩展性和灵活性。

主要特点：

• 快速高效：基于Twisted框架，Scrapy提供了高效的异步处理能力。
• 模块化设计：Scrapy的组件（如引擎、调度器、下载器、爬虫中间件、管道等）是松耦合的，允许用户根据需求灵活组合和定制。
• 内置支持：提供了丰富的内置功能，如自动限速、HTTP缓存、User-Agent中间件、cookie管理等。
• 扩展性强：用户可以通过编写自定义扩展、中间件、管道等来扩展Scrapy的功能，满足各种爬取需求。
• 广泛应用：Scrapy广泛应用于数据挖掘、搜索引擎、数据抓取、监控等各种场景。