urllib.requests.urlopen(url)中不能正常返回数据

 一,urllib.requests.urlopen是模拟浏览器向服务器发送请求,但本身不支持重构User Agent,当遇到需要请求头才能访问的数据时可以通过urllib.requests.Requests(url,headers)生成Requests对象,在交给urlopen重新发送请求

  以豆瓣网址为例,没有添加headers时报错, 当我们使用Requests生成一个Requests对象时,发现可以正常访问

二,且urllib.requests.urlopen(url)不支持参数url中有中文,当需要访问的网址中有中文存在,发送请求时就会出现问题,解决方法是将中文处理成%+十六进制的样式

1,示例当我们访问的网址中出现中文时使用urllib发送请求时会报”UnicodeEncodeError: 'ascii' codec can't encode characters in position 15-16: ordinal not in range(128)”的一个错误

解决方法:

第一个方法是通过urlencode将存入的字典参数形式编码为URL查询字符串(导入方法为from urllib.parse import urlencode)

from urllib.parse import urlencode
url1='https://www.sogou.com/web?query=美女'
url2='https://www.sogou.com/web?query=%E7%BE%8E%E5%A5%B3'
# response=urllib.request.urlopen(url1)
# print(response.read().decode("utf-8"))
r={'query':"美女"}
result=urlencode(r)
# print(result)
#  返回结果为:query=%E7%BE%8E%E5%A5%B3然后进行拼接
new_url='https://www.sogou.com/web?'+result
print(new_url)
# 返回结果为:https://www.sogou.com/web?query=%E7%BE%8E%E5%A5%B3

第二个方法是使用quoto(字符串)

from urllib.parse import quote
r='新课教育'
result=quote(r)
print(result)
#  返回结果为%E6%96%B0%E8%AF%BE%E6%95%99%E8%82%B2

  • 1
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 1
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值