本文介绍了使用VSCode和Anaconda搭建Scrapy爬虫项目的步骤，包括创建项目、生成爬虫文件和运行爬虫。在配置过程中，详细讲解了Anaconda的安装注意事项，如避免环境冲突、设置系统环境变量和初始化cmd。同时，针对Scrapy运行时可能遇到的依赖包缺失问题，给出了解决方案，如手动下载并安装缺失的whl文件。最后，检查Scrapy是否安装成功的方法也一并提供。
学习爬虫的第一个入门项目，顺便说说VSCode + Anaconda 配置
Python Scrapy 的一些折磨人的坑。
开始搭建自己的项目
1、创建项目
这里我创建了一个ScrapyProject文件夹，用来存放各个Scrapy项目，要爬的网站是：https://www.xicidaili.com/
所以项目命名为xicidailiSpider
cmd要cd到ScrapyProject目录下，然后执行
scrapy startproject xicidailiSpider
这时候 scrapy 就会自动生成项目文件，注意下文件目录
xicidailiSpider文件夹下还有一个xicidailiSpider文件夹，以及一个scrapy.cfg配置文件。
打开xicidailiSpider/xicidailiSpider文件夹，可以看到这些文件，其中存放爬虫文件的就是spiders文件夹
2、生成爬虫文件
cmd要cd到ScrapyProject/xicidailiSpider目录下，然后执行
scrapy genspider xicidaili xicidaili.com
//释: 生成 爬虫名字 要爬的域名
这时候会发现spiders文件夹多了一个xicidaili.py，这就是我们要的爬虫文件
最低0.47元/天 解锁文章
扫一扫
19万+
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
