爬虫——response中获取的不带主域名的url的拼接

scrapy中response提取的没有主域名的url拼接

# 1.导入urllib的parse

# 2.调用parse.urljoin()进行拼接，例子中response.url会自动提取出当前页面url的主域名，get_url是从response中的元素中提取的没有主域名的url

from urllib import parse

url = parse.urljoin(response.url, get_url)

转载于:https://www.cnblogs.com/shouzhong/p/7771194.html