用python处理一个文本文件

这篇博客的目的不在于教你怎么用Python处理一个文本文件，只是记录一下我怎么学用Python处理一个文本文件的，简单的说，这是一个菜鸟在开始学编程，然后不自量力地交流自己的经验心得，如是。


打开一个可以写的文件，用open()函数带'w'的参数，直接在python的命令行里执行。

>>> open("HelloWorld.txt","w")
<open file 'HelloWorld.txt', mode 'w' at 0x28f5f8>
>>>

嘿，以前没试过这么干，返回了一个内存地址，忘记赋值了，赋个值给f

>>> f = open('HelloWorld.txt','w')
>>> 

嗯，这次没print出奇怪的东西，随便写点东西

>>> f.write('你好')
>>>

然后再打开看看有木有问题

>>> open('HelloWorld.txt').read()
''

咦，我刚明明写了东西的吖，去文件夹看一下那个文件，也是空白的。莫非必须要close才行，以前都没有这个习惯的说，每次程序运行完就关掉了，东西也自然而然写进去了。试试close()

>>> f.close()
>>> open('HelloWorld.txt').read()
'\xe4\xbd\xa0\xe5\xa5\xbd'
>>> 

果然写进去了，不过打开之后是乱码，早听说python的print中文是个问题，这个应该可以直接用#coding utf-8解决的吧。

>>> #coding:utf-8
... open('HelloWorld.txt').read()
'\xe4\xbd\xa0\xe5\xa5\xbd'
>>> 

还是不行……莫非，好吧，我又忘了加print了

>>> print open('HelloWorld.txt').read()
你好
>>> 

嗯，这样就可以了，原来命令行里直接显示的字符串是raw的字符串。接下来，我想挑战个难的，处理一个大一点的文件，比如一个Illumina产的原始reads文件，我这有个酵母的，5.21G的纯文本。来试试。

往一个文件写入这些东东，然后保存运行，剩余内存飕飕地从3G飙到不到30M，大概经历了150s左右的卡机之后，print出来一个150.xxx的浮点数。

#coding: utf-8
import time
fastq_file = "/Users/bingwang/zen/yeast_anno_pipe/s_1_1_sequence.txt.FM1318.cut.fastq"
start = time.time()

f = open(fastq_file)
for line in f:
    pass

print time.time() - start

怎么才能快一点呢，google了一下，首先直接read()肯定是不行的，没那么大内存，试试一次批量读一堆吧

#coding: utf-8
import time
fastq_file = "/Users/bingwang/zen/yeast_anno_pipe/s_1_1_sequence.txt.FM1318.cut.fastq"
start = time.time()

f = open(fastq_file)
while 1:
    f.readline(100)
    pass

print time.time() - start

额，跑了5分钟没结果。看来机制跟我想的不一样吖，不知道怎么提升速度了……

今天就先学到这，明天学用python处理csv，回去继续做老板给的课题～～

===============================================================================
附：
这些“习题”源自陈皓叔叔的博文，《程序员练级技术攻略》：
http://coolshell.cn/articles/4990.html
我希望尝试跟着他推荐的方式练级，同时把每日的心得放到博客上来供大家分享，也希望各位程序员大牛们指导。