爬虫过程中需要构建url,有的url不可避免的 出现中文字符
例如:https://baike.baidu.com/item/泰山石膏(湖北)有限公司
直接输入带有中文字符的url有可能会出现编码错误,原因是url里面不允许带有中文
这时候上网上搜索可能会查看需要使用 from urllib.parse import quote来对中文进行转换,然而整个转换url之后,显示不存在这个页面
解决方法是只把中文字符进行quote转换,然后与之前的前缀合并
下面是代码:
url = ‘https://baike.baidu.com/item/’ + quote(name)