python的数据分析核心库 pandas

一、pandas概述

pandas是python进行数据分析的核心库，提供了一系列能够快速、便捷地处理结构化数据的数据结构和函数，并且具有复杂精细的索引功能，以便便捷地完成重塑、切片和切块、聚合及选取数据子集等操作。

二、读取数据

1、读取文本文件

• 文本文件：由若干行字符构成的计算机文件，是典型的顺序文件

#导入pandas库
import pandas as pd

#读取文件
fl=pd.read_table('C:/Users/abc/Desktop/test.txt') #指定目录下的文件
f2=pd.read_table('test.txt')  #数据与代码文件在同一目录下

2、CSV文件

• csv文件：一种逗号分隔的文件格式，因其分隔符不一定是逗号，又被称为字符分隔文件，文件以纯文本形式存储表格数据（数字和文本）

（1）读取CSV文件

#导入pandas库
import pandas as pd
#读取文件
fl=pd.read_csv('C:/Users/abc/Desktop/test.csv') #指定目录下的文件
f2=pd.read_csv('data\my\my.data')  #CSV 文件扩展名不一定是 csv
f3=pd.read_csv('https://www.gairuo.com/file/data/dataset/GDP-China.csv') #读取网址

（2）存储CSV文件

文本文件的存储和读取类似，结构化数据可以通过pandas中的to_csv函数实现以csv文件格式存储文件。

DataFrame.to_csv('C:/Users/abc/Desktop/test.csv')

3、excel文件

（1）读取excel文件

• read_excel函数可以读取“xls” 、“xlsx”两种Excel文件

pd.read_excel('C:/Users/abc/Desktop/test.xlsx')

（2）存储excel文件

DataFrame.to_excel('C:/Users/abc/Desktop/test.xlsx')

三、pandas其他基础数据操作

以读取test.csv文件为例（网上随便找的文件）：

#导入pandas库
import pandas as pd

#读取文件
data=pd.read_csv('C:/Users/abc/Desktop/test.csv',encoding='gbk')

#查看数据
print(data.head())   #查看前面五行数据
print(data.shape)    #查看数据形状（行数，列数）
print(data.columns)  #查看列名
print(data.index)    #查看索引列
print(data.dtypes)   #查看每列的数据类型

在pycharm中运行结果如下：

四、其他文件操作

1、打开文件

• 使用open函数，可以打开一个已经存在的文件，或者创建一个新文件
• 语法：open(文件名，访问模式)

比如，以下代码会在代码目录下创建或打开一个test.txt文件：

f = open('test.txt', 'w')

2、写数据

• 使用write()可以向文件写入数据
• 先打开文件，最后要关闭文件。注意文件打开的模式。

f = open('test.txt', 'w')
f.write('hello world,\n')
f.write('i am here!\n')
f.close()

3、读数据

(1) read()

• 使用read(num)可以从文件中读取数据
• num表示要从文件中读取的数据的长度（单位是字节）
• 如果没有传入num，那么就表示读取文件中所有的数据

已有数据如下：

读取前5个字符：

f = open('test.txt', 'r')
content = f.read(5)
print(content)
f.close()

结果如下：

读取全部内容：

f = open('test.txt', 'r')
content = f.read()
print(content)
f.close()

结果如下：

(2) readlines()

没有参数时，readlines可以按照行的方式把整个文件中的内容进行一次性读取，并且返回的是一个列表，其中每一行的数据为一个元素

f = open('test.txt', 'r')
content = f.readlines()
print(type(content))

已有数据：

代码运行结果如下：

4、文件访问模式

5、文件操作方法