python codecs.open视\u2028字符为换行符

使用codecs.open逐行读取文件时，发现有一行数据被分成了两行，原因是使用codecs.open打开后再逐行读取时会将字符\u2028视为换行，原来该字符是javascript中的转义字符点击打开链接，在一些从网页上抓取的文本中常见，同理还有\u2029，示意代码如下：

import codecs

txt = u'aa\nbb\u2028cc'
fd = open('a.txt', 'wb')
fd.write(txt.encode('utf-8'))
fd.close()

print('=======open方式========')
fd_1 = open('a.txt', 'rb')
for line in fd_1.readlines():
    print('---------------')
    print line
fd_1.close()

print('\n\n=======codecs.open方式========')
fd_2 = codecs.open('a.txt', 'rb', 'utf-8')
for line in fd_2.readlines():
    print('---------------')
    print line
fd_2.close()

输出：

=======open方式========
---------------
aa

---------------
bb
cc


=======codecs.open方式========
---------------
aa

---------------
bb

---------------
cc

结论：

1 使用codecs.open逐行读取文件时遇到\u2028,\u2029时会拆分成两行；

2 还有注意使用for line in fd_1.readlines():读取一行时，其一行内容中是包含了换行符的，所以要使用strip()去掉；