利用python进行数据加载和存储

1、文本文件

（1）pd.read_csv加载分隔符为逗号的数据；pd.read_table从文件、URL、文件型对象中加载带分隔符的数据。默认为制表符。（加载为DataFrame结构）

参数names指定列名，index_col用作行索引的列名或列编号，header用作列名的行号。

（2）利用DataFrame的to_csv方法，将数据写入到文件。

（3）import csv利用csv.reader读取已打开的文件对象；csv.writer方法写入数据。

2、json数据

import json

json.loads()将json数据加载为python对象；json.dumps()将python对象转换为json格式。

3、html

from lxml.html import parse

from urllib2 import urlopen

利用urlopen将希望获取数据的url打开，然后用parse解析得到的数据流。

from pandas.io.parses import TextParser(自动类型转换)

4、xml

利用lxml.objectify解析，from lxml import objectify

parsed=objectify.parse(open(path))

5、二进制格式

将数据以pickle形式保存到磁盘用save方法，frame.save(path)

pd.load(path)将数据读回python

6、excel文件

pd.ExcelFile(path)读取xls或xlsx文件.(预先要安装xlrd和openpyxl包）

7、web API

import requests

import json

data=json.loads(requests.get(url).text)

8、数据库

sqlite3、pyodbc、mysqldb、pymysql等；非关系型pymongo

转载于:https://www.cnblogs.com/zhenpengwang/p/10762790.html