python发起网络请求模块【requests、selenium、urllib、urllib3】(1)

一、Python所有方向的学习路线

Python所有方向的技术点做的整理，形成各个领域的知识点汇总，它的用处就在于，你可以按照下面的知识点去找对应的学习资源，保证自己学得较为全面。

二、Python必备开发工具

工具都帮大家整理好了，安装就可直接上手！

三、最新Python学习笔记

当我学到一定基础，有自己的理解能力的时候，会去阅读一些前辈整理的书籍或者手写的笔记资料，这些笔记详细记载了他们对一些技术点的理解，这些理解是比较独到，可以学到不一样的思路。

四、Python视频合集

观看全面零基础学习视频，看视频学习是最快捷也是最有效果的方式，跟着视频中老师的思路，从基础到深入，还是很容易入门的。

五、实战案例

纸上得来终觉浅，要学会跟着视频一起敲，要动手实操，才能将自己的所学运用到实际当中去，这时候可以搞点实战案例来学习。

六、面试宝典

简历模板

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

需要这份系统化学习资料的朋友，可以戳这里获取

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！

自动打开浏览器

driver = webdriver.Chrome()

driver.get(url)

time.sleep(2) # 暂停两秒，等待浏览器缓冲

print(driver.page_source) #输出访问地址的整个页面代码

driver.quit() # 关闭浏览器

selenium模块自动化脚本测试模块，功能非常强大，相当于人为操作浏览器，这里只是抛砖引玉。需要详细了解的可以直接在CSDN或者百度中搜索进行学习

3、urllib

---

原文来自：https://www.cnblogs.com/pywjh/p/9689734.html

别人写的太好太明白，自己主要起个 c v 的作用，以免画蛇添足，建议大家可以直接去看原文。

urllib作为Python的标准库，基本上涵盖了基础的网络请求功能。

urllib.request

urllib中，request这个模块主要负责构造和发起网络请求，并在其中加入Headers、Proxy等。

发起GET请求

主要使用urlopen()方法来发起请求：

from urllib import request

​

resp = request.urlopen(‘http://www.baidu.com’)

print(resp.read().decode(‘utf-8’)) #使用对象的read()方法获得bytes数据。然后进行decode转码

发起POST请求

urlopen()默认的访问方式是GET，当在urlopen()方法中传入data参数时，则会发起POST请求。

注意：传递的data数据需要为bytes格式。

设置timeout参数还可以设置超时时间，如果请求时间超出，那么就会抛出异常。

from urllib import request

​#加上data参数发起POST请求并设置超时时间

resp = request.urlopen(‘http://httpbin.org’, data=b’word=hello’, timeout=10)

print(resp.read().decode()) #同样需要转码

添加Headers

通过urllib发起的请求会有默认的一个Headers：“User-Agent”:“Python-urllib/3.6”，指明请求是由urllib发送的。

所以遇到一些验证User-Agent的网站时，我们需要自定义Headers，而这需要借助于urllib.request中的Request对象。

from urllib import request

​

url = ‘http://httpbin.org/get’

headers = {‘user-agent’: ‘Mozilla/5.0 (Macintosh; Intel Mac OS X 10_13_5) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/66.0.3359.181 Safari/537.36’}

​

需要使用url和headers生成一个Request对象，然后将其传入urlopen方法中

req = request.Request(url, headers=headers)

resp = request.urlopen(req)

print(resp.read().decode())

Request对象

如上所示，urlopen()方法中不止可以传入字符串格式的url，也可以传入一个Request对象来扩展功能，Request对象如下所示。

class urllib.request.Request(url, data=None, headers={},

origin_req_host=None,

unverifiable=False, method=None)

构造Request对象必须传入url参数，data数据和headers都是可选的。

最后，Request方法可以使用method参数来自由选择请求的方法，如PUT，DELETE等等，默认为GET。

添加Cookie

为了在请求时能带上Cookie信息，我们需要重新构造一个opener。

使用request.build_opener方法来进行构造opener，将我们想要传递的cookie配置到opener中，然后使用这个opener的open方法来发起请求。

from http import cookiejar

from urllib import request

​

url = ‘http://httpbin.org/cookies’

创建一个cookiejar对象

cookie = cookiejar.CookieJar()

使用HTTPCookieProcessor创建cookie处理器

cookies = request.HTTPCookieProcessor(cookie)

并以它为参数创建Opener对象

opener = request.build_opener(cookies)

使用这个opener来发起请求

resp = opener.open(url)

print(resp.read().decode())

或者也可以把这个生成的opener使用install_opener方法来设置为全局的。

则之后使用urlopen方法发起请求时，都会带上这个cookie。

将这个opener设置为全局的opener

request.install_opener(opener)

resp = request.urlopen(url)

设置Proxy代理

使用爬虫来爬取数据的时候，常常需要使用代理来隐藏我们的真实IP。

from urllib import request

​

url = ‘http://httpbin.org/ip’

proxy = {‘http’:‘50.233.137.33:80’,‘https’:‘50.233.137.33:80’}

创建代理处理器

proxies = request.ProxyHandler(proxy)

创建opener对象

opener = request.build_opener(proxies)

​

resp = opener.open(url)

print(resp.read().decode())

下载数据到本地

在我们进行网络请求时常常需要保存图片或音频等数据到本地，一种方法是使用python的文件操作，将read()获取的数据保存到文件中。

而urllib提供了一个urlretrieve()方法，可以简单的直接将请求获取的数据保存成文件。（对于做前端开发的来说和需要爬虫的人来说是个绝好的东西）

urlretrieve()方法传入两个参数，第一个是url字符串，第二个是文件保存的地址以及文件名

from urllib import request

​

url = ‘http://python.org/’

request.urlretrieve(url, ‘python.html’)

urllib.response

在使用urlopen()方法或者opener的open()方法发起请求后，获得的结果是一个response对象。

这个对象有一些方法和属性，可以让我们对请求返回的结果进行一些处理。

read()

获取响应返回的数据，只能使用一次。

getcode()

获取服务器返回的状态码。

getheaders()

获取返回响应的响应报头。

geturl()

获取访问的url。

res = request.urlopen(‘https://cd.meituan.com/’)

getData = res.getcode()

print(getData) #200

print(res.getheaders()) #客户端请求头

print(res.geturl()) # https://www.meituan.com/error/403

#美团的反爬直接返回了403

urllib.parse

urllib.parse是urllib中用来解析各种数据格式的模块。

urllib.parse.quote

在url中，是只能使用ASCII中包含的字符的，也就是说，ASCII不包含的特殊字符，以及中文等字符都是不可以在url中使用的。而我们有时候又有将中文字符加入到url中的需求，例如百度的搜索地址：

https://www.baidu.com/s?wd=南北

？之后的wd参数，则是我们搜索的关键词。那么我们实现的方法就是将特殊字符进行url编码，转换成可以url可以传输的格式，urllib中可以使用quote()方法来实现这个功能。

from urllib import parse

keyword = ‘南北’

parse.quote(keyword)

‘%E5%8D%97%E5%8C%97’

如果需要将编码后的数据转换回来，可以使用unquote()方法。

parse.unquote(‘%E5%8D%97%E5%8C%97’)

‘南北’

urllib.parse.urlencode

在访问url时，我们常常需要传递很多的url参数，而如果用字符串的方法去拼接url的话，会比较麻烦，所以urllib中提供了urlencode这个方法来拼接url参数。

from urllib import parse

params = {‘wd’: ‘南北’, ‘code’: ‘1’, ‘height’: ‘188’}

parse.urlencode(params)

‘wd=%E5%8D%97%E5%8C%97&code=1&height=188’

urllib.error

在urllib中主要设置了两个异常，一个是URLError，一个是HTTPError，HTTPError是URLError的子类。

HTTPError还包含了三个属性：

code：请求的状态码

reason：错误的原因

headers：响应的报头

4、urllib3

---

Urllib3是一个功能强大，条理清晰，用于HTTP客户端的Python库。许多Python的原生系统已经开始使用urllib3。Urllib3提供了很多python标准库urllib里所没有的重要特性：

1、线程安全

2、连接池

3、客户端SSL/TLS验证

4、文件分部编码上传

5、协助处理重复请求和HTTP重定位

6、支持压缩编码

7、支持HTTP和SOCKS代理

urllib是一个第三方库，需要使用pip安装

pip install urllib3

（1）Python所有方向的学习路线（新版）

这是我花了几天的时间去把Python所有方向的技术点做的整理，形成各个领域的知识点汇总，它的用处就在于，你可以按照上面的知识点去找对应的学习资源，保证自己学得较为全面。

最近我才对这些路线做了一下新的更新，知识体系更全面了。

（2）Python学习视频

包含了Python入门、爬虫、数据分析和web开发的学习视频，总共100多个，虽然没有那么全面，但是对于入门来说是没问题的，学完这些之后，你可以按照我上面的学习路线去网上找其他的知识资源进行进阶。

（3）100多个练手项目

我们在看视频学习的时候，不能光动眼动脑不动手，比较科学的学习方法是在理解之后运用它们，这时候练手项目就很适合了，只是里面的项目比较多，水平也是参差不齐，大家可以挑自己能做的项目去练练。

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

需要这份系统化学习资料的朋友，可以戳这里获取

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！