error 1:
Spider error processing <GET http://*****.com> (referer: None)
ValueError('Missing scheme in request url :%s'%self._url')
解决方法:
主要看ValueError('Missing scheme in request url :%s'%self._url')这一部分的提示错误。我在网上找了很多解决方法都说什么start_urls应该是个list而不是string。但是我不是这个问题,照改了还是有同样的错误。
所以我自己理解了一下这个错误说明,意思应该是说我返回的URL是 //www.58che.com/6055/,程序找不到这个地址。很明显, //www.58che.com/6055/缺少了https:的前缀,所以它找不到。
原来的程序:
subclass_link=subclass.xpath('@href').extract_first() #获取车型链接
所以我在程序里返回的URL加上了https:的判别:
subclass_link=subclass.xpath('@href').extract_first() #获取车型链接
subclass_link=subclass_link if 'https:' in subclass_link else ('https:' + subclass_link)
# 在原来的基础上加上了第二句
error 2:
TypeError: Object of type 'Selector' is not JSON serializable
error原因:有一个数据类型不是json格式的,从Traceback再往上看一下报错误的是第几行,然后看看那个对象,是不是一个可以转换成json的对象。
我一看,还真是!这里的错误显示我有一个叫“u_brick”的变量没有extract出来 还是selector对象~~ 把这个变量的内容.extract()就好了!