Linux文本文件内容编码问题

 今天在帮忙处理同事遇到的一个奇怪的问题，正好记录下来。

 

创建2个文本文件a.txt b.txt

 

a.txt

a

b

c

d

e

 

b.txt

a

b

c

d

e

f

g

 

查看2个文件中到底a有多少内容是存在在b中的，如果没有就显示出来。

 

本来是个很简单的事情，但是死都搞不出来。

 

使用的办法倒是有很多：

 

awk 'NR==FNR{b[$0]++}NR>FNR&&!b[$0]{print $0}' b.txt a.txt

 

grep -FVf b.txt  a.txt

 

不管是如何做，都会出现错误。

 

结果还是最后发现了问题的原因。

 

file了下a.txt文件，发现文件类型不对。

 

a.txt:   ASCII text, with CRLF line terminators

才发现原来是这样的问题，因为文件是在windows创建。

CRLF，是回车（Carriage Returen, /r）和换行（Line Feed, /n）的缩写，windows用这两个字符作为行的结束标志，linux只用换行符

 

所以导致每次在读却a中的每一行都会不能得到在b中的匹配。

 

解决办法：

 

sed -e 's/.$//g' a.txt > a01.txt

 

再次使用指令，成功!

 

在此备案，以备下次再次出现此类问题。