DOS,UNIX中的回车换行区别

最新推荐文章于 2019-12-07 19:27:20 发布

cuikui4734

最新推荐文章于 2019-12-07 19:27:20 发布

阅读量348

点赞数

这几天写了个多线程的数据抽取perl脚本，速度很快，可达到1G/m以上。可是今天做fastload加载时，被破了瓢冷水：
抽过来的所有的文件都无法正常的加载，表现的形式是我抽取的数据始终要比BOSS送过来的数据大那么一点点，但记录
条数没有异常。于是我开始了艰难的查错之旅：

[@more@]1.用UE查看数据文件，无明显异常：
2.用cygwin查看各条记录的长度，输出长度不对的行：
awk '{ if ( length($0) !=行字节数) {print $0;print NR} }' xxx.dat
结果令我失望，所有行的长度均正常；
3.编写一perl脚本，比较我抽取的数据文件和正确文件的差异：
#!/user/bin/perl

use strict;
use File::Basename;
use POSIX qw(strftime);

open(IN, "E:ETLDATAprocessQ01_CUST_PERSON_INFO_T_20090203.dat") or die "open error: $!";
my @x = ;
close (IN);
open(IN, "E:ETLDATAprocessQ01_CUST_PERSON_INFO_T_20090203_1.dat") or die "open error: $!";
my @y = ;
close (IN);

chomp(@y);
my $p = join('|', map{quotemeta} @y);
#print (grep /$p/, @x);
print (grep ! /$p/, @x);
五分钟后，运行完毕，结果令人沮丧，输出日志大小为0；
4.我开始怀疑是不可见字符引起的异常，可是这个怎么查呢？
5.新的一天开始了，有高手过来，机会难得，开问。高手就是高手，听了我的描述，他决定用UE查看文件的十六进制编码，
用UE打开，弹出窗口:"转换成DOS模式"，点“是”，比较两文件的十六进制编码，发现完全一样！
怎么办呢？先看看大小差异有没有什么规律：
一行数据可见字符的长度为388*25538＝9908744
正常：9934282 ＝ 9908744 ＋ 25538
异常：9959820 ＝ 9934282 ＋ 25538
也就是说正常情况下不可见字符数为每行1个，而我抽取的为每行2个
再用UE打开，弹出窗口:"转换成DOS模式"，点“是”，比较两文件的十六进制编码，重点关注不可见的回车换行符，发现还是完全一样！怎么回事呢？突然想起BOSS的数据库环境为UNIX，是不是编码不一样呢？找到UE菜单中“DOS到UNIX”转换，转换格式，保存。发现大小变为正确值，fastload，成功。突然明白，查看十六进制编码完全一样的罪魁祸首在于惯性的点击UE弹出的"转换成DOS模式"。验证一下，点击弹出窗口的“否”，果然发现区别，抽取数据的回车换行的编码为“0A0D”，正确数据为“0D”。

结论：dos与unix在文件中换行字符的表现机置存在差异：
dos格式下,切换一行是二个字符的,由回车(od),换行(oa),文件尾部直接EOF(文件结束标志)
而unix下,切换一行,使用的是单换行符(oa),文件最后一行也会增加该字符,然后才是eof

验证如下:
windos下建一个文件,1.txt,输入:

afew
aef(到此打住)

使用ultraedit的十六进制查看,或者上传到unix机,使用:"xxd 文件名"以十六进制查看文件,结果如下:

0000000: 6166 6577 0d0a 6165 66 afew..aef

增加了Od,Oa二个字符

而在unix下,简单创建一个同样的文件:"vi 2.txt",输入

afew

aef(同样到此打住)

使用"xxd 2.txt" 查看:

0000000: 6166 6577 0a61 6566 0a afew.aef.

可以看到,第一行后边只有一个"oa" 换行符,同时最后一行也自动增加了oa字符