python3 urllib的使用

urllib 基本使用

#!/usr/bin/python
# -*- coding: utf-8 -*-

# 1. 导入库
import urllib.request

# 2. 发送请求并获取响应对象
url = 'http://www.baidu.com'
response = urllib.request.urlopen(url)

# 3. 处理响应结果
print(response.read())

urllib 自定义请求

携带自定义 User-Agent

#!/usr/bin/python
# -*- coding: utf-8 -*-

# 1. 导入库
import urllib.request

# 2. 发送请求并获取响应对象
# 2.1 定义请求url
url = "http://www.baidu.com"
# 2.2 定义请求头
headers = {
    "User-Agent" : "Mozilla/5.0 (iPhone; CPU iPhone OS 11_0 like Mac OS X) AppleWebKit/604.1.38 (KHTML, like Gecko) Version/11.0 Mobile/15A372 Safari/604.1"
}
# 2.3 创建请求对象
request = urllib.request.Request(url,headers=headers)
# 2.4 发送请求并且获取响应数据
resp = urllib.request.urlopen(request)

# 3. 处理响应结果
print(resp.read())

urllib 请求参数 & URL 编码

#!/usr/bin/python
# -*- coding: utf-8 -*-

# 1. 导入库
import urllib.request
import urllib.parse

# 2. 发送请求并获取响应对象
# 2.1 定义请求url
url = "http://www.baidu.com/s?"
wd = input('请输入查询关键词:')
# 定义请求参数方式一
# query_str = "wd=" + urllib.parse.quote(wd)
# 定义请求参数方式二
query = {
    "wd":wd
}
query_str = urllib.parse.urlencode(query)
# 2.2 定义请求头
headers = {
    "User-Agent" : "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_13_4) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/66.0.3359.170 Safari/537.36"
}
# 2.3 创建请求对象
request = urllib.request.Request(url + query_str,headers=headers)
# 2.4 发送请求并且获取响应数据
resp = urllib.request.urlopen(request)

# 3. 处理响应结果
print(resp.read())

urllib 写入文件

#!/usr/bin/python
# -*- coding: utf-8 -*-

# 1. 导入库
import urllib.request
import urllib.parse

# 2. 发送请求并获取响应对象
# 2.1 定义请求url
url = "http://www.baidu.com/s?"
wd = input('请输入查询关键词:')
# 定义请求参数方式一
# query_str = "wd=" + urllib.parse.quote(wd)
# 定义请求参数方式二
query = {
    "wd":wd
}
query_str = urllib.parse.urlencode(query)
# 2.2 定义请求头
headers = {
    "User-Agent" : "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_13_4) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/66.0.3359.170 Safari/537.36"
}
# 2.3 创建请求对象
request = urllib.request.Request(url + query_str,headers=headers)
# 2.4 发送请求并且获取响应数据
resp = urllib.request.urlopen(request)

# 3. 写入文件
# 写入方式有两种
# 第一种是 二进制方式写入
# with open('sample04.html','wb') as f:
#     f.write(resp.read())
# 第二种方式 字符串写入
# 先从二进制数据中转换成字符串数据
resp_str = resp.read().decode('utf-8')
# 如果是字符串写入文件，必须指定字符串编码
with open('sample04_2.html','w',encoding='utf-8') as f:
    f.write(resp_str)