点击上方“早起python”,关注公众号
满满干货,极速送达
本文继续讲一点python读取数据相关的操作为数据分析作准备。
利用pandas读取
一般在做数据分析时最常接触的就是逗号分隔值(Comma-Separated Values,CSV,有时也称为字符分隔值,因为分隔字符也可以不是逗号),其文件以纯文本形式存储表格数据(数字和文本)。纯文本意味着该文件是一个字符序列,不含必须像二进制数字那样被解读的数据。CSV文件由任意数目的记录组成,记录间以某种换行符分隔;每条记录由字段组成,字段间的分隔符是其它字符或字符串,最常见的是逗号或制表符。通常,所有记录都有完全相同的字段序列。
而大多数情况下读csv文件用pandas就可以搞定。
import pandas as pd
data = pd.read_csv('目录/文件名')
要注意的是,如果直接pd.read_csv('文件名')要确保该文件在当前工作目录下。如果使用上面的绝对路径方法就不用将文件加入当前工作目录。
如果只想读取csv文件中部分数据也是可以的
data = pd.read_csv("文件名", usecols=['列名1', '列名2'])
当然在读取过程中可以添加一些参数来达到对数据进行处理比如
data = pd.read_csv("文件名",header=None,sep='\t' )
header就是指定dataframe的列名,默认为第一行,即header=0,要是不想读取列名,则header=None就可以,sep主要是用来分列的,sep='\t'意思是使用\t作为分隔符。
官方文档指出对于read_csv()这个参数默认是英文逗号’ ,’而对于read_table()这个参数默认是制表符 ‘|t’ 。当然用户可以根据自己csv文件格式的特点自行设置。read_csv()还有一个参数是 delimeter, 作用与sep相同,只不过delitemer的默认值为None,而不是英文逗号 ‘,’
如果是读取以txt文件提供的数据,只需将pd.read_csv()改成pd.read_table即可
data = pd.read_table('文件名',header=None,encoding='gb2312',sep=',',index_col=0)
其中header=None:没有每列的column name,可以自己设定,encoding='gb2312':其他编码中文显示错误,sep=',':用逗号来分隔每行的数据,index_col=0:设置第1列数据作为index。
如果是Excel的其他格式xls、xlsx等,可以使用
data = pd.read_excel('filename.xlsx')
当然也可以将文件另存为csv格式读取(有时候直接读xls会报错)。
注意:在读csv的时候要确保行与行之间没有空格。否则就会报错。最后看下read_csv/table的全部相关参数
1.filepath_or_buffer:(这是唯一一个必须有的参数,其它都是按需求选用的)
文件所在处的路径
2.sep:
指定分隔符,默认为逗号','
3.delimiter : str, default None
定界符,备选分隔符(如果指定该参数,则sep参数失效)
4.header:int or list of ints, default ‘infer’
指定哪一行作为表头。默认设置为0(即第一行作为表头),如果没有表头的话,要修改参数,设置header=None
5.names:
指定列的名称,用列表表示。一般我们没有表头,即header=None时,这个用来添加列名就很有用啦!
6.index_col:
指定哪一列数据作为行索引,可以是一列,也可以多列。多列的话,会看到一个分层索引
7.prefix:
给列名添加前缀。如prefix="x",会出来"x1"、"x2"、"x3"
8.nrows : int, default None
需要读取的行数(从文件头开始算起)
9.encoding:
乱码的时候用这个就是了,官网文档看看用哪个:
https://docs.python.org/3/library/codecs.html#standard-encodings
10.skiprows : list-like or integer, default None
需要忽略的行数(从文件开始处算起),或需要跳过的行号列表(从0开始)。
其他方法
使用CSV模块读取csv文件
import csv
csv_file=csv.reader(open('filename.csv','r'))
content=[] #用来存储整个文件的数据,存成一个列表,列表的每一个元素又是一个列表,表示的是文件的某一行
for line in csv_file:
content.append(line)
上面的过程其实就是遍历csv文件的每一行,然后将每一行的数据作为一个元素存到设定好的list中,所以最终得到的是一个list。
使用python I/O 读取CSV文件
使用python I/O方法进行读取时即是新建一个List 列表然后按照先行后列的顺序(类似C语言中的二维数组)将数据存进空的List对象中,如果需要将其转化为numpy 数组也可以使用np.array(List name)进行对象之间的转化。
data = []
with open(birth_weight_file) as csvfile:
csv_reader = csv.reader(csvfile) # 使用csv.reader读取csvfile中的文件
birth_header = next(csv_reader) # 读取第一行每一列的标题
for row in csv_reader: # 将csv 文件中的数据保存到birth_data中
data(row)
使用tensorflow读取数据(转)
import tensorflow as tf
import os
def csvread(filelist):
'''
读取CSV文件
:param filename: 路径+文件名的列表
:return: 读取内容
'''
# 1. 构造文件的队列
file_queue = tf.train.string_input_producer(filelist)
# 2. 构造csv阅读器读取队列数据(按一行)
reader = tf.TextLineReader()
key,value = reader.read(file_queue)
# 3.对每行内容解码
# record_defaults:指定每一个样本的每一列的类型,指定默认值[['None'],[4.0]]
records = [['None'],['None']]
example,label = tf.decode_csv(value,record_defaults=records)
# batch_size跟队列,数据的数量没有影响,只决定这批次取多少数据
# 4. 想要读取多个数据,就需要批处理
example_batch,label_batch = tf.train.batch([example,label],batch_size=9,num_threads=1,capacity=9)
# print(example,label)
return example_batch,label_batch
if __name__ == '__main__':
# 找到文件,构建列表
filename = os.listdir('./data/csvdata/')
# 拼接路径 重新组成列表
filelist = [os.path.join('./data/csvdata/',file) for file in filename]
# 调用函数传参
example_batch,label_batch = csvread(filelist)
# 开启会话
with tf.Session() as sess:
# 定义一个线程协调器
coord = tf.train.Coordinator()
# 开启读文件的线程
threads = tf.train.start_queue_runners(sess,coord=coord)
# 打印读取的内容
print(sess.run([example_batch,label_batch]))
# 回收子线程
coord.request_stop()
coord.join(threads)
使用xlrd读取Excel
官方地址
安装:pip install xlrd
简单使用
import xlrd
# 打开文件
data = xlrd.open_workbook('filename.xlsx')
整体思路为,打开文件,选定表格,读取行列内容,读取表格内数据。
data.sheet_names() # 获取所有sheet名字
data.nsheets # 获取sheet数量
data.sheets() # 获取所有sheet对象
sheet1 = data.sheet_by_name("test") # 通过sheet名查找
sheet2 = data.sheet_by_index(3) # 通过索引查找
rows = sheet1.row_values(2)#获取行内容
cols = sheet1.col_values(3)#获取列内容
readline读取txt
#第一种方法
f = open("data.txt","r") #设置文件对象
line = f.readline()
line = line[:-1]
while line: #直到读取完文件
line = f.readline() #读取一行文件,包括换行符
line = line[:-1] #去掉换行符,也可以不去
f.close() #关闭文件
#第二种方法
data = []
for line in open("data.txt","r"): #设置文件对象并读取每一行文件
data.append(line) #将每一行文件加入到list中
#第三种方法
f = open("data.txt","r") #设置文件对象
data = f.readlines() #直接将文件中按行读到list里,效果与方法2一样
f.close() #关闭文件
好了,以上就是python中读取数据的一些常用方法,在遇到的时候肯定是首先选择pandas,读出来的就是dataframe十分方便数据切片、筛选、合并等操作。关于数据写的相关操作以后再讲吧。
钉钉在线求饶?五星分期付款?爬取钉钉App Store真实评价数据并分析
GitHub上3k+star的python爬虫库你了解吗?详解MechanicalSoup爬虫库
在看点这里