在编写python代码时,经常会遇到一个问题,选择那种文件格式作为最后数据输出文件。
笔者在使用python进行地理转码的时候使用了Excel这种格式,所使用的IDE为spyder。每次只有等到代码全部运行结束之后才会把数据写入到Excel之中,在这之前,数据全部写在内存中。
后来笔者使用python进行百度POI爬虫时使用了CSV这种逗号分隔格式的文件类型,代码在运行时,数据不断写入到CSV之中,在资源管理器中可以发现CSV文件大小不断在变大。
所以在代码尚不完善,中间可能存在调试过程或者意外错误时,为便面反复计算,使用CSV格式文件可以很好保存已经计算出来的数据。
但是在spyder中,还有一点我非常喜欢,就是引入了类似玉matlab一样的变量控制台,在变量控制台可以清晰查看变量的类型、长度和具体数值。其中一点很重要,变量控制台支持变量的复制、粘贴以及编辑。如果想避免重复计算,减少内存压力,可以从变量控制台里直接复制数据。此外,还支持变量另存为matlab格式的M文件,这一点在python和matlab的交互上架起一座桥。