使用codecs.open逐行读取文件时,发现有一行数据被分成了两行,原因是使用codecs.open打开后再逐行读取时会将字符\u2028视为换行,原来该字符是javascript中的转义字符点击打开链接,在一些从网页上抓取的文本中常见,同理还有\u2029,示意代码如下:
import codecs
txt = u'aa\nbb\u2028cc'
fd = open('a.txt', 'wb')
fd.write(txt.encode('utf-8'))
fd.close()
print('=======open方式========')
fd_1 = open('a.txt', 'rb')
for line in fd_1.readlines():
print('---------------')
print line
fd_1.close()
print('\n\n=======codecs.open方式========')
fd_2 = codecs.open('a.txt', 'rb', 'utf-8')
for line in fd_2.readlines():
print('---------------')
print line
fd_2.close()
输出:
=======open方式========
---------------
aa
---------------
bb
cc
=======codecs.open方式========
---------------
aa
---------------
bb
---------------
cc
结论:
1 使用codecs.open逐行读取文件时遇到\u2028,\u2029时会拆分成两行;
2 还有注意使用for line in fd_1.readlines():读取一行时,其一行内容中是包含了换行符的,所以要使用strip()去掉;