Python爬虫 使用urllib的post请求百度翻译中的数据

        本节课通过爬取百度翻译的数据为例对urllib中post进行讲解。

黄线处表明数据的请求类型是post

                              

        

注意，要用英文输入法输入，才能出现sug文件。

      以下代码为详细步骤：

# post请求

import urllib.request
import urllib.parse

# post的请求地址
url = 'https://fanyi.baidu.com/sug'   # 上图红线处就是地址

headers = {
    'User-Agent': '你的UA'
}

data = {
    'kw': 'spider'
}

# post请求的参数必须要进行编码
# urlencode(data)就是用来进行编码的方法
# post请求的参数必须是字节型，所以编码完后还要调用encode方法
# encode('utf-8')，使得data从字符串型变成字节型
data = urllib.parse.urlencode(data).encode('utf-8')

# post的请求参数，是不会拼接在url后面的，而是需要放在请求对象的定制中
request = urllib.request.Request(url=url, data=data, headers=headers)

# 模拟浏览器向服务器发送请求
# 如果之前没有进行编码，那么这下面一句代码就会报错
response = urllib.request.urlopen(request)

# 获取响应的数据
content = response.read().decode('utf-8')

# 以下代码打印结果是json的字符串类型
# print(content)

# 将字符串转换成json对象
import json

obj = json.loads(content)
print(obj)  # 将字符串转换成json对象后，就能显示出中文了

运行结果：

如果没转换成json对象再输出，那么输出的中文会变成一堆字符串