请求库安装和环境配置

1.request

2.Selenium

简介：Selenium是一个自动化测试工具，利用它可以去驱动浏览器执行特定的工作，如点击、下拉等操作。（对于一些用JavaScript渲染的也米娜来说，这种抓取方式非常有效）

3.ChromeDriver

简介：Selenium只是一个自动化测试工具，需要浏览器来配合使用。安装ChromeDriver之后才能驱动Chrome浏览器完成相应的操作。
官方网站：http://sites.google.com/a/chromium.org/chromedriver
下载地址：http://chromedriver.storage.googleapis.com/index.html
（ChromeDriver配置完成之后，Selenimu驱动浏览器来做相应网页的抓取）

测试是否配置成功：

from selenium import webdriver
browser=webdriver.Chrome()

环境变量配置：wins直接将ChromeDriver.exe文件拖到Python的Scripts（Python环境配置新建的目录）目录下，也可以单独将其所在路径配置到环境变量。（方法：计算机右击——属性——高级系统设置——环境变量——Path——编辑——新建——复制路劲进去确定就ok了）

4.GeckoDriver

对于Friefox？？？来说，也可以使用同样的方法完成Selenium的对接，这时需要安装另一个驱动GeckoDrever
GitHub：https://github.com/mozilla/geckodriver
下载地址：https://github.com/mozilla/geckodriver/releases

测试是否配置成功：

from selenium import webdriver
browser=webdriver.Firefox()

遇到问题显示：SessionNotCreatedException: Unable to find a matching set of capabilities
解决如下：在网上查阅的时候，大部分是说可能是Firefox版本不匹配问题。在确认版本还算新的情况下：python 2.7——selenium 3.11.0——geckodriver v0.20.0——Firefox 59.0.1

5.PhantomJS

PhantomJS是一个无界面的、可脚本编程的WebKit浏览器引擎，它原生支持多种Web标准：DOM操作、CSS选择器、JSON、Canvas以及SVG。Selenium支持PhantomJS，这样在运行的时候就不会再弹出一个浏览器了。而且PhantomJS的运行效率也很高，还支持各种参数配置，使用非常方便。
官方网站：http://phantomjs.org
官方文档：http://phantomjs.org/quick-start.html
下载地址：http://phantomjs.org/download.html
API接口说明：http://phantomjs.org.api.command-line.html

下载后复制到Scripts路径中。

验证配置结果：

from selenium import webdriver
browser=webdriver.PhantomJS()
browser.get('https://www.baidu.com')
print(browser.current_url)

6.aiohttp

简介：之前介绍的request库是一个阻塞式
安装：pip安装 pip3 install aiohttp
推荐库：一个是字符编码检测库cchardet，另一个是DNS的解析库aiodns pip3 install cchardet aiodns