解决python2.7 UnicodeDecodeError和UnicodeEncodeError问题

最近在项目中，读取上传的csv文件，并写入时，会报编码问题，

                    with open(origin_file_path, mode='wb')as f:
                        for chunk in file_obj:
                            f.write(chunk)

UnicodeDecodeError: 'utf8' codec can't decode byte 0xc4 in position 0: invalid continuation byte

刚开始以为是对方上传的文本编码格式有问题，所以让对方用Notepad++，打开编辑后保存

刚开始一段时间，没有再出现错误，最近，错误再次发生，即使用上面说的编辑器也没用

                    with open(origin_file_path, mode='wb')as f:
                        for chunk in file_obj:
                            f.write(chunk.decode('gbk')

后面考虑，可能是因为有中文，需要进行gbk编码，所以在写入文件时我按gbk写入后，发现问题解决了，不会再报上面这个错误

但是当我把把更新的文件放到服务器上后，发现，又报另外一个错误错误

UnicodeEncodeError: 'ascii' codec can't encode characters in position 42-57: ordinal not in range(128)

可能是因为linux默认是utf-8编码。所以报错

然后我又转成utf-8，完美解决问题，代码如下　　

                    with open(origin_file_path, mode='wb')as f:
                        for chunk in file_obj:
                            f.write(chunk.decode('gbk').encode('utf-8'))

 

 

转载于:https://www.cnblogs.com/huchong/p/9122466.html