Anaconda3环境下使用Scrapy进行爬取数据

安装Scrapy

我们直接使用conda install scrapy发现版本不对，需要进入你的虚拟环境中，使用pip install scrapy -i https://mirrors.aliyun.com/pypi/simple来完成安装。

简单使用

具体要去看官方文档：https://docs.scrapy.org/en/latest/

创建项目

终端输入

scrapy startproject <projectname>

之后会创建项目结构

spiders文件夹就是你的爬虫程序文件夹。

创建爬虫程序

xxx.com就是爬取的域名/网址，可以自己修改。xxx是爬虫程序名称。

cd spiders
scrapy genspider xxx xxx.com

简单例子：

import scrapy