Python学习教程：关于Scrapy爬虫项目运行和调试的小技巧-第一讲

最新推荐文章于 2024-08-19 06:30:00 发布

千锋python和唐唐

最新推荐文章于 2024-08-19 06:30:00 发布

阅读量765

点赞数 1

文章标签： Python Python学习教程

本文链接：https://blog.csdn.net/chen801090/article/details/90673231

版权

本文介绍了在Python Scrapy爬虫项目中提高开发效率和调试便利性的四个技巧。包括在PyCharm中创建main.py文件直接运行和调试爬虫，以及利用Debug功能设置断点进行详细调试。这些方法能帮助开发者更有效地操纵和理解爬虫程序的运行过程。

摘要由CSDN通过智能技术生成

Python学习教程：关于Scrapy爬虫项目运行和调试的小技巧

扫除运行Scrapy爬虫程序的bug之后，基本可以开始进行编写爬虫逻辑了。在正式开始爬虫编写之前，在这里跟大家介绍四个小技巧，可以方便我们操纵和调试爬虫。

一、建立main.py文件，直接在Pycharm下进行调试

很多时候我们在使用Scrapy爬虫框架的时候，如果想运行Scrapy爬虫项目的话，一般都会想着去命令行中直接执行命令“scrapy crawl crawler_name”，其中crawler_name指的是爬虫的名字，在一开始创建Scrapy爬虫模板的时候就指定了的，而且在该爬虫项目中具有唯一性。但是每次跑到命令行下去执行，看交互的结果，有时候并不是很清晰，所以这里介绍一种方法，可以帮助大家提高开发效率，尤其是调试的时候更是显得方便。

在与爬虫项目的scrapy.cfg文件同级目录下建立一个main.py文件，用于控制整个爬虫项目的执行。
在这里插入图片描述
在该文件夹中写入的代码见下图。其中execute函数是内嵌在scrapy中的，调用这个函数可以直接调用该Scrapy工程项目的爬虫脚本，这个函数的执行需要在爬虫项目的父目录下进行。而第7行代码的意思就是获取当前py文件的父目录，省去我们直接复制路径的精力和时间，同时也方便我们将该项目放到其他的平台上去运行，不会报路径的错误。execute函数里边的参数其实就是将Scrapy爬虫执行命令拆分，然后分别以一个字符的方式放到了一个数组中。