Windows常用爬虫库的安装

之前安装过python3.8了，这里不在赘述，只是说说一些常用的库和其环境的安装

一、requests 库

pip install requests

依赖库【会自动安装】：urllib3,idna,chardet,certifi
验证安装：

pip list

二、selenium 部署

Selenium是自动化测试工具，可以驱动浏览器执行操作

1、selenium

pip install selenium

2、Chorme浏览器

离线安装包下载地址：https://www.google.com/intl/zh-CN/chrome/?standalone=1
查看版本：

chrome://version/

3、ChormeDriver

在这里找到和浏览器相同的版本：http://npm.taobao.org/mirrors/chromedriver/

在python终端输入以下命令查看安装路径：

import sys
sys.path

将下载解压后的chromedriver.exe放到python.exe同一路径下：

4、验证安装

输入这个能自动打开浏览器就没问题：

from selenium import webdriver
webdriver.Chrome()

三、scrapy库

如果直接

pip install scrapy

会报错：

所以我们手动安装whl文件，在https://www.lfd.uci.edu/~gohlke/pythonlibs/#twisted下载：
这里的cp就是python的版本。

下载完成后pip install 文件路径进行安装：

然后重新pip install scrapy:

搞定！

别的PhantomJS，数据库，Charles暂时不说了，之后学到再来补充。