点击上方“早起python”,关注公众号
满满干货,极速送达
本文继续讲一点python读取数据相关的操作为数据分析作准备。
利用pandas读取
一般在做数据分析时最常接触的就是逗号分隔值(Comma-Separated Values,CSV,有时也称为字符分隔值,因为分隔字符也可以不是逗号),其文件以纯文本形式存储表格数据(数字和文本)。 纯文本意味着该文件是一个字符序列,不含必须像二进制数字那样被解读的数据。 CSV文件由任意数目的记录组成,记录间以某种换行符分隔; 每条记录由字段组成,字段间的分隔符是其它字符或字符串,最常见的是逗号或制表符。 通常,所有记录都有完全相同的字段序列。 而大多数情况下读csv文件用pandas就可以搞定。import pandas
要注意的是,如果直接pd.read_csv('文件名')要确保该文件在当前工作目录下。如果使用上面的绝对路径方法就不用将文件加入当前工作目录。
如果只想读取csv文件中部分数据也是可以的
"文件名", usecols=[
当然在读取过程中可以添加一些参数来达到对数据进行处理比如
"文件名",header=
header就是指定dataframe的列名,默认为第一行,即header=0,要是不想读取列名,则header=None就可以,sep主要是用来分列的,sep='\t'意思是使用\t作为分隔符。
官方文档指出对于read_csv()这个参数默认是英文逗号’ ,’而对于read_table()这个参数默认是制表符 ‘|t’ 。当然用户可以根据自己csv文件格式的特点自行设置。read_csv()还有一个参数是 delimeter, 作用与sep相同,只不过delitemer的默认值为None,而不是英文逗号 ‘,’
如果是读取以txt文件提供的数据,只需将pd.read_csv()改成pd.read_table即可
'文件名',header=
其中header=None:没有每列的column name,可以自己设定,encoding='gb2312':其他编码中文显示错误,sep=',':用逗号来分隔每行的数据,index_col=0:设置第1列数据作为index。
如果是Excel的其他格式xls、xlsx等,可以使用
'filename.xlsx')
当然也可以将文件另存为csv格式读取(有时候直接读xls会报错)。
注意:在读csv的时候要确保行与行之间没有空格。否则就会报错。最后看下read_csv/table的全部相关参数
1.filepath_or_buffer:(这是唯一一个必须有的参数,其它都是按需求选用的)
文件所在处的路径
2.sep:
指定分隔符,默认为逗号','
3.delimiter : str, default None
定界符,备选分隔符(如果指定该参数,则sep参数失效)
4.header:int or list of ints, default ‘infer’
指定哪一行作为表头。默认设置为0(即第一行作为表头),如果没有表头的话,要修改参数,设置header=None
5.names:
指定列的名称,用列表表示。一般我们没有表头,即header=None时,这个用来添加列名就很有用啦!
6.index_col:
指定哪一列数据作为行索引,可以是一列,也可以多列。多列的话,会看到一个分层索引
7.prefix:
给列名添加前缀。如prefix="x",会出来"x1"、"x2"、"x3"
8.nrows : int, default None
需要读取的行数(从文件头开始算起)
9.encoding:
乱码的时候用这个就是了,官网文档看看用哪个:
https://docs.python.org/3/library/codecs.html#standard-encodings
10.skiprows : list-like or integer, default None
需要忽略的行数(从文件开始处算起),或需要跳过的行号列表(从0开始)。
其他方法
使用CSV模块读取csv文件
import csv
上面的过程其实就是遍历csv文件的每一行,然后将每一行的数据作为一个元素存到设定好的list中,所以最终得到的是一个list。
使用python I/O 读取CSV文件
使用python I/O方法进行读取时即是新建一个List 列表然后按照先行后列的顺序(类似C语言中的二维数组)将数据存进空的List对象中,如果需要将其转化为numpy 数组也可以使用np.array(List name)进行对象之间的转化。
data = []
with open(birth_weight_file) as csvfile:
csv_reader = csv.reader(csvfile) # 使用csv.reader读取csvfile中的文件
birth_header = next(csv_reader) # 读取第一行每一列的标题
for row in csv_reader: # 将csv 文件中的数据保存到birth_data中
data(row)
使用tensorflow读取数据(转)
import tensorflow
使用xlrd读取Excel
官方地址
安装:pip install xlrd
简单使用
import xlrd
整体思路为,打开文件,选定表格,读取行列内容,读取表格内数据。
# 获取所有sheet名字
readline读取txt
#第一种方法
好了,以上就是python中读取数据的一些常用方法,在遇到的时候肯定是首先选择pandas,读出来的就是dataframe十分方便数据切片、筛选、合并等操作。关于数据写的相关操作以后再讲吧。
情人节用python写个网站对ta表白吧!
使用SIR模型对2019新型冠状病毒的疫情发展进行分析
疫情来袭,30分钟学会用python开发部署疫情可视化网站
钉钉在线求饶?五星分期付款?爬取钉钉App Store真实评价数据并分析
GitHub上3k+star的python爬虫库你了解吗?详解MechanicalSoup爬虫库
在看点这里