python爬虫环境准备说明

# 1.环境安装
https://www.python.org/downloads/


安装python3
  
---


# 2.开发工具
https://www.jetbrains.com/pycharm/?fromMenu


下载社区版(Community)即可。


---


# 3.python基础


python基础教程(电子版)


http://www.runoob.com/python/python-tutorial.html


---


# 4.scrapy爬虫框架
https://www.jianshu.com/p/43029ea38251


## 4.1 爬虫入门和调试


### 4.1.1 配置环境变量
在安装python3时可以勾选Adding to PATH选项，这样安装程序会自动将C:\Python36及C:\Python36\Scripts加入Path变量。也可以在安装后手动添加path路径。


### 4.1.2 强制安装更新PiP 
    python3 -m pip install --upgrade pip --force-reinstall
* 注：当pip命令不可用时，可执行上述操作。


### 4.1.3 安装wheel与scrapy
    pip install scrapy
* 此时会出现坑报error: Unable to find vcvarsall.bat异常,解决办法：
https://www.lfd.uci.edu/~gohlke/pythonlibs/
下载Twisted的whl文件进行安装，但之前需行执行：


        pip install wheel
    
安装wheel才可进行，具体参照:
http://blog.csdn.net/zjiang1994/article/details/52689144及http://blog.csdn.net/c406495762/article/details/60156205所述。


### 4.1.4 ModuleNotFoundError: No module named 'scrapy'异常解决.
当出现上述异常时，应先检查Settings——>Project:xxx——>project Interpreter中的组件列表是否正常，如果只显示几个或根本没有，表示配置异常，请重装安装pywin32-221.win-amd64-py3.6，并在安装时选择自定义，选择**不要含有空格的文件路径进行安装**，如直接安装在C:\python目录下，然后进行project Interpreter进行Interpreter path的设置成C:\python\python.exe即可.


### 4.1.5 缺少包win32api


ModuleNotFoundError: No module named 'win32api'


解决方案：


    pip install pypiwin32