Python_TypeError: Object of type 'DouyuZiItem' is not JSON serializable错误及解决

问题描述：

在使用Scrapy进行爬虫时候，在管道文件中想对Spider文件返回的item进行磁盘持久化，但是运行就出现了如下错误

Traceback (most recent call last):
  File "e:\anaconda3\lib\site-packages\twisted\internet\defer.py", line 654, in _runCallbacks
    current.result = callback(current.result, *args, **kw)
  File "e:\anaconda3\lib\site-packages\scrapy\pipelines\media.py", line 80, in process_item
    dlist = [self._process_request(r, info) for r in requests]
  File "e:\anaconda3\lib\site-packages\scrapy\pipelines\media.py", line 80, in <listcomp>
    dlist = [self._process_request(r, info) for r in requests]
  File "E:\Scrapy\Douyu_zi\Douyu_zi\pipelines.py", line 18, in get_media_requests
    self.f.write(json.dumps(item, ensure_ascii=False))
  File "e:\anaconda3\lib\json\__init__.py", line 238, in dumps
    **kw).encode(obj)
  File "e:\anaconda3\lib\json\encoder.py", line 199, in encode
    chunks = self.iterencode(o, _one_shot=True)
  File "e:\anaconda3\lib\json\encoder.py", line 257, in iterencode
    return _iterencode(o, 0)
  File "e:\anaconda3\lib\json\encoder.py", line 180, in default
    o.__class__.__name__)
TypeError: Object of type 'DouyuZiItem' is not JSON serializable

 

原因分析：

因为写入磁盘是后加的，之前只有下载图片，没加之前是能正常结束的，加了如下代码就出了问题，所以问题就在这行代码上

self.f.write(json.dumps(item, ensure_ascii=False))

语法没错，把item写入到磁盘，等等，item！！

问题就在item身上，我的Spider中返回的是我在items.py定义的类对象，这个类在打印的时候和字典一样，但是它不是字典类型的，不过可以和字典进行无差别转换，所以这里需要将item转换字典

正确代码：

self.f.write(json.dumps(dict(item), ensure_ascii=False) + ",\n")

 

结论：

从Spider传过来的参数需要进行dict()转换