关于爬取图片链接的一些处理

日常的爬取数据时，对于一些图片以及网页url常常是不完整的。需要我们对其进行一些处理，保存完整的url到需要的文件中。这就需要我们对这些不完整的url进行补全的操作。

下面分享一个用来处理不完整url的方法。

from urllib.parse import urljoin

url = "/wcm.files/upload/CMSnq/201804/201804270445055.jpg"
new_url = urljoin("http://nyj.hanzhong.gov.cn/templet/hanzhongshi/showarticlelist.jsp?id=5847",url)
print(new_url)

得到的就是完整的url。
http://nyj.hanzhong.gov.cn/wcm.files/upload/CMSnq/201804/201804270445055.jpg

在爬虫中对于一些数据的处理，性能优化很有帮助。