scrapy学习之路（二）开发环境搭建

本文以vscode为例，搭建scrapy开发环境。

首先安装https://blog.csdn.net/huyongchao98/article/details/103909153需要搭建运行环境，并且创建出了自己的工程。

使用vscode打开该工程，开始搭建vscode版本的scrapy开发环境。

（1）安装python扩展。

（2）安装yapf格式化工具。

（3）.vscode设置工程：

         1.settings.json设置如下：

             {

                "python.formatting.provider": "yapf",

               "python.pythonPath": "venv/bin/python3.7",

             }

         2.tasks.json设置如下：

        {

        "version":"2.0.0",

        "tasks": [

                {

                        "label":"source",

                        "type": "shell",

                        "command":"source ${workspaceFolder}/venv/bin/activate"

                }

        ]

        }

       3. launch.json配置如下：

       {

              "version": "0.2.0",

              "configurations": [

              {

                     "name": "Python: 数据抓取",

                     "type": "python",

                     "request": "launch",

                     "preLaunchTask":"source",

                     "module": "scrapy",

                     "args": [

                            "crawl",

                            "projectName",

                     ],

                   "cwd": "${workspaceFolder}/projectName"

                   }

             ]

        }

注意几点：tasks.json保证在venv下运行爬虫，确保了环境的单一性和包的安装。launch.json中preLaunchTask和tasks.json联系在一起，保证运行launch.json中的工作的时候，先运行tasks.json中的任务，涉及到具体工程时，需要修稿launch.json中的projectName为自己的工程名。

运行时，点击F5快捷键即可调试爬虫工程了，下一章，将讲具体的爬虫工作。