from urllib.request import request
from urllib.urlopen import urlopen
import urllib2
import requests
使用 urllib 方式获取
response = urllib.request.urlopen(‘http://www.baidu.com’)
read() 读取的是服务器的原始返回数据 decode() 后会进行转码
print(response.read().decode())
使用 requests 方式获取
request 模块相比
resp = requests.get(‘http://www.baidu.com’)
print(resp)
print(resp.text)
HTTP 是基于请求和响应的工作模式,urllib.request 提供了一个 Request 对象来代表请求,因此上面的代码也可以这么写
req = urllib.request.Request(‘http://www.baidu.com’)
with urllib.request.urlopen(req) as response:
print(response.read())
Request对象可以增加header信息
req = urllib.request.Request(‘http://www.baidu.com’)
req.add_header(‘User-Agent’, ‘Mozilla/6.0 (iPhone; CPU iPhone OS 8_0 like Mac OS X) AppleWebKit/536.26 (KHTML, like Gecko) Version/8.0 Mobile/10A5376e Safari/8536.25’)
with urllib.request.urlopen(req) as response:
print(response.read())
或者直接将 header 传入 Request 构建函数。
**带参数的 GET 请求**
带有参数的请求和上面的例子本质一样,可以事先拼出URL请求字符串,然后再进行请求。
本例使用了 腾讯 的股票API,可以传入不同的股票代码以及日期,查询对应股票在对应时间的价格、交易信息。
‘’’
遇到问题没人解答?小编创建了一个Python学习交流QQ群:531509025
寻找有志同道合的小伙伴,互帮互助,群里还有不错的视频学习教程和PDF电子书!
‘’’
使用带参数的接口访问
tencent_api = “http://qt.gtimg.cn/q=sh601939”
response = urllib.request.urlopen(tencent_api)
read() 读取的是服务器的原始返回数据 decode() 后会进行转码
print(response.read())
resp = requests.get(tencent_api)
print(resp)
print(resp.text)
**发送 POST 请求**
urllib 没有单独区分 GET 和 POST 请求的函数,只是通过 Request 对象是否有 data 参数传入来判断。
import urllib.parse
import urllib.request
url = ‘http://www.someserver.com/cgi-bin/register.cgi’
values = {‘name’ : ‘Michael Foord’,
‘location’ : ‘Northampton’,
‘language’ : ‘Python’ }
data = urllib.parse.urlencode(values)
data = data.encode(‘ascii’) # data should be bytes req = urllib.request.Request(url, data)
with urllib.request.urlopen(req) as response:
the_page = response.read()
### 最后
> **🍅 硬核资料**:关注即可领取PPT模板、简历模板、行业经典书籍PDF。
> **🍅 技术互助**:技术群大佬指点迷津,你的问题可能不是问题,求资源在群里喊一声。
> **🍅 面试题库**:由技术群里的小伙伴们共同投稿,热乎的大厂面试真题,持续更新中。
> **🍅 知识体系**:含编程语言、算法、大数据生态圈组件(Mysql、Hive、Spark、Flink)、数据仓库、Python、前端等等。
**网上学习资料一大堆,但如果学到的知识不成体系,遇到问题时只是浅尝辄止,不再深入研究,那么很难做到真正的技术提升。**
**[需要这份系统化学习资料的朋友,可以戳这里无偿获取](https://bbs.csdn.net/topics/618317507)**
**一个人可以走的很快,但一群人才能走的更远!不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人,都欢迎加入我们的的圈子(技术交流、学习资源、职场吐槽、大厂内推、面试辅导),让我们一起学习成长!**