目录
系统安装scrapy,创建项目
打开cmd在系统环境安装Scrapy,如无法安装自己百度
pip install scrapy
在cmd中使用scrapy命令创建自己的项目
scrapy startproject 自己的项目名称
进入自己的项目创建,蜘蛛程序(要爬取的域名,之后可以修改)
scrapy genspider 蜘蛛程序的名称 要爬取的域名
在pycharm中打开创建好的scrapy项目
这样就创建好了一个Scrapy项目
配置虚拟环境
这里利用anaconda创建虚拟环境。没有的自行去安装
conda create -n 虚拟环境名称 python==需要的版本号
在cmd 输入 conda env list 可以查看自己创建的虚拟环境,如下
cmd输入 conda activate +虚拟环境名称 ,进入虚拟环境
conda activate 虚拟环境名称
命令行前,显示(虚拟环境名称),即进入虚拟环境
在虚拟环境中再次安装scrapy pip insatll scrapy
pip insatll scrapy
安装好之后,就可以把虚拟环境配置到pycharm中
- 打开PyCharm,选择File->Setting->Project:****->Project Interpreter
- 点击右下角的齿轮图标,选择Add
- 在弹出的对话框中,选择Conda Environment,然后选择Existing environment
- 点击省略号,浏览到你创建的虚拟环境(在Anaconda安装目录的envs下面),进入环境文件夹后选择python.exe
- 点击OK,等待PyCharm加载环境