Python读取excel等数据文件

python处理数据文件的 途径有很多种,可以操作的文件类型主要包括文本文件(csv,txt,json等)、excel文件、数据库文件、api等其他数据文件。

1.read、readline、readlines

  • read():一次性读取整个文件的内容。read(size)方法,size越大运行时间越长
  • readline():每次读取一行内容。内存不够时使用
  • readlines():一次性读取整个文件内容,并按行返回到list,方便我们遍历

2.内置模块csv

python内置了csv模块用于读写csv文件,csv是一种逗号分隔符文件,是数据科学中最常见的数据存储格式之一。

  • csv模块读取文件
import csv
with open('test.csv','r') as myFile:
	lines = csv.reader(myFile)
	for line in lines:
		print(line)
  • csv模块写入文件
import csv
with open('test.csv','w+') as myFile:
	myWriter = csv.writer(myFile)
	# writerow一行一行写入
	myWriter.writerow([1,2,3])
	myWriter.writerow([4,5,6])
	# writerows多行写入
	mylist = [[1,2,3],[4,5,6]]
	myWriter.writerows(mylist)

3.numpy库

  • loadtxt方法
    loadtxt用来读取文本文件(包含txt、csv等)以及.gz或.bz2格式压缩文件,前提是文件数据每一行必须要有数量相同的值
import numpy as np
np.loadtxt('test.csv',dtype=str)
# dtype:数据类型,读取的数据以此类型存储;默认设置为float
  • load方法
    load用来读取numpy专用的.npy,.npz或者pickled持久化文件。
import numpy as np
np.load('test.npy')
  • fromfile方法
    fromfile方法可以读取简单的文本数据或者二进制数据,数据源于tofile方法保存的二进制数据。读取数据时需要用户指定 元素类型,并对数组的形状进行适当的修改。
import numpy as np
x = np.arange(9).reshape(3,3)
# np.arange()作用等同于range()
x.tofile('test.bin')
res = np.fromfile('test.bin',dtype=np.int)
print(res)  # [0,1,2,3,4,5,6,7,8]

4.pandas库

pandas是数据处理最常用的分析库之一,可以读取各种各样格式的数据文件,一般输出dataframe格式。
如:txt、csv、excel、json、剪切板、数据库、html、hdf、parquet、pickled文件、sas、stata等。

  • read_csv方法:读取csv格式文件,输出dataframe格式
  • read_excel方法:读取excel文件,包括xlsx、xls、xlsm格式
  • read_table方法:通过对scp参数(分隔符)的控制来对任何文本文件读取
  • read_html方法:读取html表格
  • read_clipboard方法:读取剪切板内容
  • read_pickle方法:读取pickled持久化文件
  • read_sql方法:读取数据库数据,连接好数据库后,传入sql语句即可
  • read_dhf方法:读取hdf5文件,适合大文件读取
  • read_parquet方法:读取parquet文件
  • read_sas方法:读取sas文件
  • read_stata方法:读取stata文件
  • read_gbq方法:读取google bigquery数据

5.读写excel文件

python用于读写excel文件的库有很多,除了前面的pandas,还有xlrd、xlwt、openpyxl、xlwings等等。
主要模块:

  • xlrd库:从excel中读取数据,支持 xls、xlsx
  • xlwt库:对excel进行修改操作,不支持对xlsx格式的修改
  • xlutils库:在xlw个xlrd中,对一个已存在的文件进行修改
  • openpyxl:主要针对xlsx格式的excel进行读取编辑
  • xlwings:对xlsx、xlsx、xlsm格式文件进行读写、格式修改等操作
  • xlsxwriter:用来生成excel表格,插入数据、插入图表等表格操作,不支持读取

6.操作数据库

python几乎支持对所有数据库的交互,连接数据库后,可以使用sql语句进行增删改查。
主要模块:

  • pymysql:用于和MySQL数据库的交互
  • sqlalchemty:用于和MySQL数据库的交互
  • cx_Oracle:用于和oracle数据库的交互
  • sqlite3:内置库,用于和sqlite数据库交互
  • pymssql:用于和SQL server数据库的交互
  • pymongo:用于和mongodb非关系型数据库交互
  • redis、pyredis:用于和redis非关系型数据库的交互
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值