python网站迁移_在Python中利用Into包整洁地进行数据迁移的教程

动机

我们花费大量的时间将数据从普通的交换格式(比如CSV)，迁移到像数组、数据库或者二进制存储等高效的计算格式。更糟糕的是，许多人没有将数据迁移到高效的格式，因为他们不知道怎么(或者不能)为他们的工具管理特定的迁移方法。

你所选择的数据格式很重要，它会强烈地影响程序性能(经验规律表明会有10倍的差距)，以及那些轻易使用和理解你数据的人。

当提倡Blaze项目时，我经常说：“Blaze能帮助你查询各种格式的数据。”这实际上是假设你能够将数据转换成指定的格式。

进入into项目

into函数能在各种数据格式之间高效的迁移数据。这里的数据格式既包括内存中的数据结构，比如：

列表、集合、元组、迭代器、numpy中的ndarray、pandas中的DataFrame、dynd中的array，以及上述各类的流式序列。

也包括存在于Python程序之外的持久化数据，比如：

CSV、JSON、行定界的JSON，以及以上各类的远程版本

HDF5 (标准格式与Pandas格式皆可)、 BColz、 SAS、 SQL 数据库 ( SQLAlchemy支持的皆可)、 Mongo

into项目能在上述数据格式的任意两个格式之间高效的迁移数据，其原理是利用一个成对转换的网络(该文章底部有直观的解释)。

如何使用它

into函数有两个参数：source和target。它将数据从source转换成target。source和target能够使用如下的格式：

Target Source Example

Object Object A particular DataFrame or list

String String ‘file.csv’, ‘