lxml安装_python（一）爬虫依赖库安装

1.requests

但是安装并不是很顺利，可以看出最后一行报错，要求最低版本是19.0.3但是目前的pip版本为18.1，根据提示使用命令升级一下pip命令即可。

You are using pip version 18.1, however version 19.0.3 is available.You should consider upgrading via the 'python -m pip install --upgrade pip' command.#升级一下命令即可python -m pip install --upgrade pip

看一下是否安装成功

 import requests requests.get("https://www.python.org")#如果返回Response [200]>则说明请求成功

2.selenium

脚本驱动浏览器，想驱动浏览器还得安装一个

chromedriver下载安装

下载地址：http://chromedriver.chromium.org/downloads

根据你浏览器的版本下载对应版本的driver驱动文件

我的是72所以我要下载2.46版本的驱动

https://chromedriver.storage.googleapis.com/index.html?path=2.46/

解压之后将此文件放到配置有环境变量的文件夹下，或者你为它配置一下环境变量。目的是为了能够控制台随处调用而已。

我将它放到了我的python目录下，D:PythonScripts

#执行命令如果能自动打开Chrome则成功安装from selenium import webdriverdriver=webdriver.Chrome()

我们请求一下网页，看到已经打开了网页

driver.get("https://cn.bing.com")

使用

driver.page_source#命令可以打印出网页的源码

3.phantomjs(已废弃)

作用：无界面请求，不会每次都打开Chrome浏览器窗口，此项目已经在2019年03月04日 停止维护。所以不建议下载了，我尝试安装之后报错

下载地址：http://phantomjs.org/download.html

下载后解压配置环境变量：D:phantomjs-2.1.1-windowsbin

重新打开cmd窗口，如下则配置成功

果然有报错信息：

以我四级都还没过的水平也看出来说Selenium 不再支持PhantomJS ，请使用Firefox或者Chrome的无头模式。

D:Pythonlibsite-packagesseleniumwebdriverphantomjswebdriver.py:49: UserWarning: Selenium support for PhantomJS has been deprecated, please use headless versions of Chrome or Firefox instead warnings.warn('Selenium support for PhantomJS has been deprecated, please useheadless '

what are fuck

那么问题来了，Chrome是怎么使用无头模式的呢

from selenium import webdriverfrom selenium.webdriver.chrome.options import Options​chrome_options = Options()chrome_options.add_argument('--headless')chrome_options.add_argument('--disable-gpu')driver = webdriver.Chrome(chrome_options=chrome_options)driver.get("https://cn.bing.com")driver.page_sourcedriver.close()#用完记得关闭

4.lxml

作用：解析网页

5.beautifulsoup4

依赖于lxml

6.pyquery

类似于jQuery

7.pymysql

连接mysql

8.pymongo

mongodb

9.redis

10.flask

web服务器代理

11.django

web框架

12.jupyter

在线运行代码，notebook作用

默认会启动在8888端口上，并自动打开浏览器

如果是在Mac或者linux下安装则更为简单：