nrows python_python数据分析——详解python读取数据相关操作

本文继续讲一点python读取数据相关的操作为数据分析作准备。

利用pandas读取一般在做数据分析时最常接触的就是逗号分隔值(Comma-Separated Values，CSV，有时也称为字符分隔值，因为分隔字符也可以不是逗号)，其文件以纯文本形式存储表格数据(数字和文本)。纯文本意味着该文件是一个字符序列，不含必须像二进制数字那样被解读的数据。CSV文件由任意数目的记录组成，记录间以某种换行符分隔；每条记录由字段组成，字段间的分隔符是其它字符或字符串，最常见的是逗号或制表符。通常，所有记录都有完全相同的字段序列。

而大多数情况下读csv文件用pandas就可以搞定。import pandas as pd

data = pd.read_csv('目录/文件名')

要注意的是，如果直接pd.read_csv('文件名')要确保该文件在当前工作目录下。如果使用上面的绝对路径方法就不用将文件加入当前工作目录。

如果只想读取csv文件中部分数据也是可以的data = pd.read_csv("文件名", usecols=['列名1', '列名2'])

当然在读取过程中可以添加一些参数来达到对数据进行处理比如data = pd.read_csv("文件名",header=None,sep='\t' )

header就是指定dataframe的列名，默认为第一行，即header=0，要是不想读取列名，则header=None就可以，sep主要是用来分列的，sep='\t'意思是使用\t作为分隔符。

官方文档指出对于read_csv()这个参数默认是英文逗号’ ,’而对于read_table()这个参数默认是制表符 ‘|t’ 。当然用户可以根据自己csv文件格式的特点自行设置。read_csv()还有一个参数是 delimeter， 作用与sep相同，只不过delitemer的默认值为None，而不是英文逗号 ‘,’

如果是读取以txt文件提供的数据，只需将pd.read_csv()改成pd.read_table即可data = pd.read_table('文件名',header=None,encoding='gb2312',sep=',',index_col=0)

其中header=None:没有每列的column name，可以自己设定，encoding='gb2312':其他编码中文显示错误，sep=',':用逗号来分隔每行的数据，index_col=0:设置第1列数据作为index。

如果是Excel的其他格式xls、xlsx等，可以使用data = pd.read_excel('filename.xlsx')

当然也可以将文件另存为csv格式读取(有时候直接读xls会报错)。

注意：在读csv的时候要确保行与行之间没有空格。否则就会报错。最后看下read_csv/table的全部相关参数1.filepath_or_buffer:(这是唯一一个必须有的参数，其它都是按需求选用的)

文件所在处的路径

2.sep：

指定分隔符，默认为逗号','

3.delimiter : str, default None

定界符，备选分隔符(如果指定该参数，则sep参数失效)

4.header：int or list of ints, default ‘infer’

指定哪一行作为表头。默认设置为0(即第一行作为表头)，如果没有表头的话，要修改参数，设置header=None

5.names：

指定列的名称，用列表表示。一般我们没有表头，即header=None时，这个用来添加列名就很有用啦！

6.index_col:

指定哪一列数据作为行索引，可以是一列，也可以多列。多列的话，会看到一个分层索引

7.prefix:

给列名添加前缀。如prefix="x",会出来"x1"、"x2"、"x3"

8.nrows : int, default None

需要读取的行数(从文件头开始算起)

9.encoding:

乱码的时候用这个就是了，官网文档看看用哪个：

https://docs.python.org/3/library/codecs.html#standard-encodings

10.skiprows : list-like or integer, default None

需要忽略的行数(从文件开始处算起)，或需要跳过的行号列表(从0开始)。

其他方法

使用CSV模块读取csv文件import csv

csv_file=csv.reader(open('filename.csv','r'))

content=[] #用来存储整个文件的数据，存成一个列表，列表的每一个元素又是一个列表，表示的是文件的某一行

for line in csv_file:

content.append(line)

上面的过程其实就是遍历csv文件的每一行，然后将每一行的数据作为一个元素存到设定好的list中，所以最终得到的是一个list。

使用python I/O 读取CSV文件

使用python I/O方法进行读取时即是新建一个List 列表然后按照先行后列的顺序(类似C语言中的二维数组)将数据存进空的List对象中，如果需要将其转化为numpy 数组也可以使用np.array(List name)进行对象之间的转化。data = []

with open(birth_weight_file) as csvfile:

csv_reader = csv.reader(csvfile)  # 使用csv.reader读取csvfile中的文件

birth_header = next(csv_reader)  # 读取第一行每一列的标题

for row in csv_reader:  # 将csv 文件中的数据保存到birth_data中

data(row)

使用tensorflow读取数据(转)import tensorflow as tf

import os

def csvread(filelist):

'''

读取CSV文件

:param filename:  路径+文件名的列表

:return: 读取内容

'''

# 1. 构造文件的队列

file_queue = tf.train.string_input_producer(filelist)

# 2. 构造csv阅读器读取队列数据(按一行)

reader = tf.TextLineReader()

key,value = reader.read(file_queue)

# 3.对每行内容解码

# record_defaults:指定每一个样本的每一列的类型，指定默认值[['None'],[4.0]]

records = [['None'],['None']]

example,label = tf.decode_csv(value,record_defaults=records)

# batch_size跟队列，数据的数量没有影响，只决定这批次取多少数据

# 4. 想要读取多个数据，就需要批处理

example_batch,label_batch = tf.train.batch([example,label],batch_size=9,num_threads=1,capacity=9)

# print(example,label)

return example_batch,label_batch

if __name__ == '__main__':

# 找到文件，构建列表

filename = os.listdir('./data/csvdata/')

# 拼接路径 重新组成列表

filelist = [os.path.join('./data/csvdata/',file) for file in filename]

# 调用函数传参

example_batch,label_batch = csvread(filelist)

# 开启会话

with tf.Session() as sess:

# 定义一个线程协调器

coord = tf.train.Coordinator()

# 开启读文件的线程

threads = tf.train.start_queue_runners(sess,coord=coord)

# 打印读取的内容

print(sess.run([example_batch,label_batch]))

# 回收子线程

coord.request_stop()

coord.join(threads)

使用xlrd读取Excel

官方地址

安装：pip install xlrd

简单使用import xlrd

# 打开文件

data = xlrd.open_workbook('filename.xlsx')

整体思路为，打开文件，选定表格，读取行列内容，读取表格内数据。data.sheet_names()  # 获取所有sheet名字

data.nsheets        # 获取sheet数量

data.sheets()       # 获取所有sheet对象

sheet1 = data.sheet_by_name("test")  # 通过sheet名查找

sheet2 = data.sheet_by_index(3)  # 通过索引查找

rows = sheet1.row_values(2)#获取行内容

cols = sheet1.col_values(3)#获取列内容

readline读取txt#第一种方法

f = open("data.txt","r")   #设置文件对象

line = f.readline()

line = line[:-1]

while line:             #直到读取完文件

line = f.readline()  #读取一行文件，包括换行符

line = line[:-1]     #去掉换行符，也可以不去

f.close() #关闭文件

#第二种方法

data = []

for line in open("data.txt","r"): #设置文件对象并读取每一行文件

data.append(line)               #将每一行文件加入到list中

#第三种方法

f = open("data.txt","r")   #设置文件对象

data = f.readlines()  #直接将文件中按行读到list里，效果与方法2一样

f.close()             #关闭文件

好了，以上就是python中读取数据的一些常用方法，在遇到的时候肯定是首先选择pandas，读出来的就是dataframe十分方便数据切片、筛选、合并等操作。关于数据写的相关操作以后再讲吧。