解决pytorch DataLoader 加载数据报错UnicodeDecodeError: ‘utf-8‘ codec can‘t decode byte 0xe5 in position 1023

完整报错是：

Traceback (most recent call last):
  File "/Applications/PyCharm.app/Contents/plugins/python/helpers/pydev/_pydevd_bundle/pydevd_comm.py", line 301, in _on_run
    r = r.decode('utf-8')
UnicodeDecodeError: 'utf-8' codec can't decode byte 0xe5 in position 1023: unexpected end of data

解决方法

这个不是解决UnicodeDecodeError: 'utf-8' codec can't decode byte 0xe5 in position 1023: unexpected end of data报错，而是解决无法迭代模型的问题，方法就是：

把Tensor格式的数据源，换成numpy格式，然后再转成tensor，最后放入DataLoader中

当从numpy到tensor时仍会报错UnicodeDecodeError，但这样加载后的数据不会被封装到DataLoader后导致数据循环停止，模型的训练不会受到影响。