Step1 : 安装virtualenvwrapper
C:\Users\psmax\workspace\maxwell_ai\nlp_course\s_code>pip install virtualenvwrapper
Step 2 : 环境变量的配置(Mac or Linux)
Step 2 : 环境变量的配置(Windows)
Step3 创建工作环境。
C:\Users\psmax\workspace\maxwell_ai\nlp_course\s_code>mkvirtualenv spider
对不需要的环境可以通过 rmvirtualenv + 环境名字 进行删除。
通过 workon + 工作环境名字,可以进入当前环境下工作。例如下图
Step4:在工作环境spider下安装两个包。如下
(spider) C:\Users\psmax\workspace>pip install Scrapy
(spider) C:\Users\psmax\workspace>pip install mysqlclient
Step5 在合适的路径下创建开始项目。
(spider) C:\Users\psmax\workspace\maxwell_ai\nlp_course\s_code>scrapy startproject my_spider
Step6 演示一个抓取防欺诈网页数据。