Python分布式爬虫1

一、开发环境的搭建

1.安装mysql

2.安装navicat for mysql

二、虚拟环境的搭建

1.创建cmd.bat
1)在桌面新建cmd.bat，里面输入cmd，保存

2.安装驱动

1）pip install virtualenvwrapper-win
pip install virtualenv
pip install virtualenvwrapper

2)mkvirtualenv -p C:\anaconda3\python.exe article_spider
即先选中要作为虚拟环境的python，再构建名为article_spider的文件夹
cd到文件目录内，然后输入activate即可激活虚拟环境

图中红框内即为虚拟环境文件夹的位置

3.安装lxml,twisted,pywin32

网址：https://www.lfd.uci.edu/~gohlke/pythonlibs/
cmd中先进入到下载路径，然后
pip install -i https://pypi.douban.com/simple “下载下来的文件名”

4.安装scrapy
pip install -i https://pypi.douban.com/simple scrapy
即为使用豆瓣镜像源进行安装

5.创建project
进入到虚拟环境，然后输入scrapy startproject ArticleSpider即可创建

6.配置pycharm解释器
file-settings-搜索interpreter-add-existing environment-找到虚拟环境下的python.exe