linux 设置环境编码,linux环境编码出现的问题

问题描述:

直接从windows环境ftp一份.txt文件到linux环境，发现记事本默认为ANSI格式，于是就转换为UTF-8格式编码(因为linux里有这个格式的嘛)；用Python将txt文件读取到oracle数据库中，发现txt首行的第一个字符读到oracle中后会出现一个奇怪的点,将这个奇怪的字符拷贝到linux环境下的utf-8文件中，显示该点为,直接print出来却并没有不正常之处。

问题出现原因:

网上搜索，原来这是个被称作BOM(Byte Order Mark)的不可见字符，是Unicode用来标识内部编码的排列方式的，在UTF-16、UTF-32编码里它是必需的，而在UTF-8里是可选的,因此,才会出现有的编辑器在文件头部添加添加BOM、而有的语法解析器又不作处理的的混乱情况。所谓 BOM，全称是Byte Order Mark，它是一个Unicode字符，通常出现在文本的开头，用来标识字节序 (Big/Little Endian)，除此以外还可以标识编码(UTF-8/16/32)，如果出现在文本中间，则解释为zero width no-break space。

问题解决方法:

在windows桌面用editplus打开此文件，另存为Unicode(不是Unicode+uom)格式，将此文件ftp到linux中，问题就此解决。

问题反思：

1、用print 打印出来为什么不会发现，print会对输出的文本做自动的编码转换， print转换的目的编码和环境变量有关。