python数据分析_python数据分析——详解python读取数据相关操作

点击上方“早起python”，关注公众号

满满干货，极速送达

本文继续讲一点python读取数据相关的操作为数据分析作准备。

利用pandas读取

一般在做数据分析时最常接触的就是逗号分隔值(Comma-Separated Values，CSV，有时也称为字符分隔值，因为分隔字符也可以不是逗号)，其文件以纯文本形式存储表格数据(数字和文本)。 纯文本意味着该文件是一个字符序列，不含必须像二进制数字那样被解读的数据。 CSV文件由任意数目的记录组成，记录间以某种换行符分隔； 每条记录由字段组成，字段间的分隔符是其它字符或字符串，最常见的是逗号或制表符。 通常，所有记录都有完全相同的字段序列。 而大多数情况下读csv文件用pandas就可以搞定。

import pandas 

要注意的是，如果直接pd.read_csv('文件名')要确保该文件在当前工作目录下。如果使用上面的绝对路径方法就不用将文件加入当前工作目录。

如果只想读取csv文件中部分数据也是可以的

"文件名", usecols=[

当然在读取过程中可以添加一些参数来达到对数据进行处理比如

"文件名",header=

header就是指定dataframe的列名，默认为第一行，即header=0，要是不想读取列名，则header=None就可以，sep主要是用来分列的，sep='\t'意思是使用\t作为分隔符。

官方文档指出对于read_csv()这个参数默认是英文逗号’ ,’而对于read_table()这个参数默认是制表符 ‘|t’ 。当然用户可以根据自己csv文件格式的特点自行设置。read_csv()还有一个参数是 delimeter， 作用与sep相同，只不过delitemer的默认值为None，而不是英文逗号 ‘,’

如果是读取以txt文件提供的数据，只需将pd.read_csv()改成pd.read_table即可

'文件名',header=

其中header=None:没有每列的column name，可以自己设定，encoding='gb2312':其他编码中文显示错误，sep=',':用逗号来分隔每行的数据，index_col=0:设置第1列数据作为index。

如果是Excel的其他格式xls、xlsx等，可以使用

'filename.xlsx')

当然也可以将文件另存为csv格式读取(有时候直接读xls会报错)。

注意：在读csv的时候要确保行与行之间没有空格。否则就会报错。最后看下read_csv/table的全部相关参数

1.filepath_or_buffer:(这是唯一一个必须有的参数，其它都是按需求选用的)
文件所在处的路径

2.sep：
指定分隔符，默认为逗号','

3.delimiter : str, default None
定界符，备选分隔符(如果指定该参数，则sep参数失效)

4.header：int or list of ints, default ‘infer’
指定哪一行作为表头。默认设置为0(即第一行作为表头)，如果没有表头的话，要修改参数，设置header=None

5.names：
指定列的名称，用列表表示。一般我们没有表头，即header=None时，这个用来添加列名就很有用啦！

6.index_col:
指定哪一列数据作为行索引，可以是一列，也可以多列。多列的话，会看到一个分层索引

7.prefix:
给列名添加前缀。如prefix="x",会出来"x1"、"x2"、"x3"

8.nrows : int, default None
需要读取的行数(从文件头开始算起)

9.encoding:
乱码的时候用这个就是了，官网文档看看用哪个：
https://docs.python.org/3/library/codecs.html#standard-encodings

10.skiprows : list-like or integer, default None
需要忽略的行数(从文件开始处算起)，或需要跳过的行号列表(从0开始)。

其他方法

使用CSV模块读取csv文件

import csv

上面的过程其实就是遍历csv文件的每一行，然后将每一行的数据作为一个元素存到设定好的list中，所以最终得到的是一个list。

使用python I/O 读取CSV文件

使用python I/O方法进行读取时即是新建一个List 列表然后按照先行后列的顺序(类似C语言中的二维数组)将数据存进空的List对象中，如果需要将其转化为numpy 数组也可以使用np.array(List name)进行对象之间的转化。

data = []
with open(birth_weight_file) as csvfile:
    csv_reader = csv.reader(csvfile)  # 使用csv.reader读取csvfile中的文件
    birth_header = next(csv_reader)  # 读取第一行每一列的标题
for row in csv_reader:  # 将csv 文件中的数据保存到birth_data中
        data(row)

使用tensorflow读取数据(转)

import tensorflow 

使用xlrd读取Excel

官方地址

安装：pip install xlrd

简单使用

import xlrd

整体思路为，打开文件，选定表格，读取行列内容，读取表格内数据。

# 获取所有sheet名字

readline读取txt

#第一种方法

好了，以上就是python中读取数据的一些常用方法，在遇到的时候肯定是首先选择pandas，读出来的就是dataframe十分方便数据切片、筛选、合并等操作。关于数据写的相关操作以后再讲吧。

情人节用python写个网站对ta表白吧！

使用SIR模型对2019新型冠状病毒的疫情发展进行分析

疫情来袭，30分钟学会用python开发部署疫情可视化网站

钉钉在线求饶？五星分期付款？爬取钉钉App Store真实评价数据并分析

GitHub上3k+star的python爬虫库你了解吗？详解MechanicalSoup爬虫库

在看点这里