使用scrapy框架爬取图片遇到的两种错误： ValueError: Missing scheme in request url:TypeError: Request url must be str

使用scrapy框架爬取图片遇到的两种错误：

ValueError: Missing scheme in request url:

首先遇到这种情况有很多原因，有的冒号后面可能就是一个字母或字符，这是因为你提取的href图片链接在处理的时候出现问题，检查检查是否使用了for循环将你提取的链接字符串拆分了。然后我这种就是链接完整正常但是还是报这种错误，这是因为我忽略了加http：，这种链接放浏览器会自动加前缀，但scrapy不会自动加，所以需要自己加上。下面我放下我的代码

爬虫文件中parse方法
def parse(self, response):
    for quote in response.css("a.view_img_link::attr(href)").getall():
        items['image_urls'] = quote
        yield items
    next_page = response.css("div.comments a.previous-comment-page::attr(href)").get()
    if next_page is not None:
        yield response.follow(next_page, callback=self.parse)

管道文件中

import scrapy
from scrapy.pipelines.images import ImagesPipeline
class JiandanPipeline(ImagesPipeline):
    def get_media_requests(self, item, info):
        imag ="http:"+ item['image_urls']
        yield scrapy.Request(imag)

TypeError: Request url must be str or unicode, got list

这种错误就是因为提示所说，url需要是str字符串类型，注意一下转化就行。可以通过内置方法type查看类型，这里放一个列表转字符串的方法

"".join(item['image_urls'])

最后说几个scrapy爬虫注意点，爬取时最好将robot协议关闭。我定义的setting.py中。当然可能你遇到的情况很可能跟我不同，所以这依然解决不了你的问题，很正常，这个问题我被困了几天，也没有博客解决我的问题，最主要的原因就是我们一般是通过b站，网盘或者其他的视频网站的学习资源来学习。而某些机构一般只会放出几年前的教学视频，可想而知，经过几年的技术迭代，会有一些不同。所以解决你问题最好的方法就是去GitHub上找官方文档，根据最新文档来学习。最后如果有问题请留言，口下留情

scrapy官方文档：https://docs.scrapy.org/en/latest/index.html

ROBOTSTXT_OBEY = False
IMAGES_URLS_FIELD = "image_urls"
ITEM_PIPELINES = {'scrapy.pipelines.images.ImagesPipeline': 1}
IMAGES_STORE = 'D:\\jiandan2'
MEDIA_ALLOW_REDIRECTS = True