python3 urlopen打开包含中文的url

最新推荐文章于 2021-01-14 02:02:22 发布

weixin_30300225

最新推荐文章于 2021-01-14 02:02:22 发布

阅读量74

点赞数

原文链接：http://www.cnblogs.com/tengjian/p/9269590.html

版权

　　今天在写一个爬虫的时候，抓取的页面url地址后，解析不了，然后百度查了下，地址里面的中文要转换掉

from urllib import request
from urllib.parse import quote
import string
class HtmlDownload(object):
    def download(self, new_url):
        if new_url is None:
            return
        s = quote(new_url,safe=string.printable)　　　　#用quote转换
        resp = request.urlopen(s)
        if resp.status != 200:
            return
        return resp.read().decode('utf-8')

方法quote的参数safe表示可以忽略的字符。

string.printable表示ASCII码第33～126号可打印字符，其中第48～57号为0～9十个阿拉伯数字；65～90号为26个大写英文字母，97～122号为26个小写英文字母，其余的是一些标点符号、运算符号等。

如果不设置这个safe参数，’https://baike.baidu.com/item/糖尿病’会被转换为
‘https%3A//baike.baidu.com/item/%E7%B3%96%E5%B0%BF%E7%97%85’，
而不是’https://baike.baidu.com/item/%E7%B3%96%E5%B0%BF%E7%97%85’

上面的是网上找来的

转载于:https://www.cnblogs.com/tengjian/p/9269590.html