python爬虫环境变量_Python3爬虫环境配置

一、包管理工具Anaconda安装

1、安装

直接在官网下载最新版本的 https://www.continuum.io/downloads

2、配置环境变量

PATH：C:\Users\Administrator\Anaconda3;C:\Users\Administrator\Anaconda3\Scripts;C:\Users\Administrator\Anaconda3\Library\bin

3、包管理工具

# 安装 matplotlib

conda install matplotlib

# 查看已安装的包

conda list

# 包更新

conda update matplotlib

# 删除包

conda remove matplotlib

4、提高下载速度

Anaconda 的镜像地址默认在国外，用 conda 安装包的时候会很慢，目前可用的国内镜像源地址是清华大学提供的。修改 ~/.condarc (Linux/Mac) 或 C:\Users\当前用户名.condarc (Windows) 配置

channels:

- https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free/

- defaults

show_channel_urls: true

除此之外，你也可以把 pip 的镜像源地址也换成国内的，豆瓣源速度比较快。修改 ~/.pip/pip.conf (Linux/Mac) 或 C:\Users\当前用户名\pip\pip.ini (Windows) 配置：

[global]

trusted-host = pypi.douban.com

index-url = http://pypi.douban.com/simple

二、安装必要的库及浏览器驱动

1、安装库

pip install requests/conda install requests

验证安装：

$ python3

>>import requests

首先输入python3，进入命令行模式，然后输入上述内容，如果什么错误提示也没有，就证明已经成功安装了requests。

pip install wheel/conda install wheel

pip install selenium/conda install selenium

验证安装：

$ python3

>>import selenium

如果没有报错，则证明安装成功.

2、Chromedriver的安装

接下来查看本机的Chrome浏览器版本号

点击Chrome菜单“帮助”→“关于GoogleChrome”，即可查看Chrome的版本号

挂VPN：下载与Chrome浏览器对应的驱动文件--注意版本号和驱动对应详见下面网页的notes.txt文件

https://chromedriver.storage.googleapis.com/index.html

本文浏览器版本为52--下载的对应驱动是2.24版本

----------ChromeDriver v2.24 (2016-09-09)----------

Supports Chrome v52-54

下载好解压exe文件(windows)到C:\Users\Administrator\Anaconda3\Scripts

验证是否一致：

$ python3

>>from selenium import webdriver

>>browser = webdriver.Chrome()

运行之后， 如果弹出一个空白的Chrome浏览器网页，则证明所有的配置都没有问题。 如果没有弹出，请检查之前的每一步配置。

如果弹出后闪退，则可能是ChromeDriver版本和Chrome版本不兼容，请更换ChromeDriver版本。

如果没有问题，接下来就可以利用Chrome来做网页抓取了。