python爬虫-Scrapy框架I

Scrapy的介绍和安装

Scrapy是纯python开发的一个高效，结构化的网页抓取框架；
Scrapy是一个为了爬取网站数据，提高结构性数据而编写的应用框架。其最初是为了页面抓取(更确切地来说，网络抓取)所涉及的，也可以应用在获取API所返回的数据(例如 Amazon Associates Web Services)或者通用的网络爬虫。Scrapy用途广泛，可以用于数据挖掘，检测和自动化测试。Scrapy使用了Twisted异步网络库来处理网络通讯。
虽然可以通过pip 安装Scrapy，但是官方推荐使用Anaconda来安装，由此可以避免绝大多数问题,也可以自行安装，最好用虚拟环境安装（用pycharm创建项目）

创建项目，创建爬虫

新建项目

命令：scrapy startproject <project_name> [project_dir]

新建爬虫

编写爬虫，运行爬虫

跟踪连接