ftp在window和Linux之间传文件UnicodeDecodeError: ‘utf-8‘ codec can‘t decode byte 0x8a in position : invalid

今天的代码要使用一个生成好的txt文件。开始我是将这个文件生成的代码放在Linux上执行的，然后在Linux上测试使用这个txt文件的代码发现也是可以正常运行的。

然后我把代码和txt文件提交到git，自动部署的时候报错了：

UnicodeDecodeError: 'utf-8' codec can't decode byte 0x8a in position 2428: invalid start byte

我发现将Linux上的txt文件用xftp拉到本地之后，再将这个本地的txt文件用ftp传到Linux上，使用这个文件的时候就会报错（因为我是将文件在本地传到git上，git自动部署的时候出的错，所以这里用这种拉两次的方法模拟我传代码然后部署时文件的传输）：

我看了下，我生成的文件和使用时解析的文件都是utf-8的，不是这个的utf-8编码的问题。

实验了下，发现是这个txt文件在win和Linux中间转换的时候出的问题，之前遇到过这个问题。当时只是在远端使用，可以通过命令来消除这个编码的错误，具体看这个博客：

Linux中dos2unix批量转换 - 抟九 - 博客园

但是由于这个文件是需要我传到git上，然后自动部署的，所以我本地window这里是必须要有一个正确的文件的。

然后我想是不是txt文件才有这个问题，我记得我之前是用过pickle来存数据，是没有报这个错的。于是我用pickle来存储内容，避开txt。（py文件我各个系统直接拉来拉去就不会有这个问题，所以应该只有一部分种类的文件会有这个问题）

但是尝试了下，Linux生成pickle文件，ftp拉到本地然后ftp再传到Linux之后，发现还是有这个问题。这里我还尝试了先把文件压缩成tar.gz包，也不行，解压的时候就会报错，然后使用文件的时候还是有问题。

然后对比之前我用pickle的情况，实验后发现，是Linux上ftp拉到本地的时候会导致格式错误，但是本地生成的正常文件用ftp传到Linux是不会出错的。

这里我就把生成pickle文件的代码放到了本地执行，将生成的pickle文件用ftp传到Linux就可以正常执行了。

txt文件因为没有尝试，不知道是不是和pickle一样的，Linux拉Windows的时候会出错，还是无论Linux到Windows还是Windows到Linux都会出错。

总之，pickle文件 从Linux用ftp传到本地windows系统的时候会有unix变dos编码的错误，在文件中加了系统无法识别的字符。

我这里直接本地生成，从Windows到Linux用ftp的话是不会有这个错误的，所以我这里是避免了Linux生成然后ftp拉到本地的操作，将文件生成挪到Windows上执行。

我这里的方法其实是避开了解决这个问题，没有去解决。不过已经知道了，出错的地方就是，用ftp从Linux传pickle文件到本地windows系统会有unix变dos编码的错误，具体解决方法看使用情况吧。