python自学篇十六[pandas——数据分析 （二）：读取文件+索引+NaNs处理方法]

概括：Numpy+Scipy+pandas+matplotlib

pandas基本功能

一.数据文件读取/文本数据读取

1.pandas：数据文件读取

通过pandas提供的read_xxx相关的函数可以读取文件中的数据，并形成DataFrame,常用的数据读取方法为：read_csv，主要可以读取文本类型的数据

help(pd.read_csv)

2.读取csv文件

先创建一个data1.csv文件，里面内容写：

name,age,source
Peter,18,98.5
Tom,21,78.2
Bob,24,98.5
Wangdachui,20,89.2

Jupyter notebook代码：

import numpy as np
from pandas import Series, DataFrame
import pandas as pd
##读取csv文件
df=pd.read_csv("data1.csv")
df

3.读取txt文件

先创建一个data01.txt文件，里面内容写：

王大锤;18;100;99;98
王大锤;18;100;99;98
王大锤;18;100;99;98

Jupyter notebook代码：

import numpy as np
from pandas import Series, DataFrame
import pandas as pd
#读取文本数据，指定";"为分隔符，不读取头部数据
df=pd.read_csv("data01.txt",sep=';',header=None)
df

二.索引、选取和数据过滤

pandas：数据过滤获取
通过DataFrame的相关方式可以获取对应的列或者数据形成一个新的DataFrame, 方便后续进行统计计算。

对于DataFrame/Series中的NaN一般采取的方式为删除对应的列/行或者填充一个默认值

1.指定行头部

创建一个data01.txt文件，里面内容写：

王大锤;18;100;99;98
王大锤;18;100;99;98
王大锤;18;100;99;98

Jupyter notebook代码：

import numpy as np
from pandas import Series, DataFrame
import pandas as pd
columns=['name','age',u'语文',u'数学',u'英语']
df.columns=columns
df

2.切片获取内容

创建一个data01.txt文件，里面内容写：

王大锤;18;100;99;98
王大锤;18;100;99;98
王大锤;18;100;99;98

Jupyter notebook代码：

import numpy as np
from pandas import Series, DataFrame
import pandas as pd
columns=['name','age',u'语文',u'数学',u'英语']
df=df[columns[2:]]
df

三.pandas：缺省值NaN处理方法

对于DataFrame/Series中的NaN一般采取的方式为删除对应的列/行或者填充一个默认值
代码：

import numpy as np
from pandas import Series, DataFrame
import pandas as pd
df2=DataFrame([
    ['Tom',np.nan,456.67,'M'],
    ['Merry',34,345.56,np.nan],
    ['Gerry',np.nan,np.nan,np.nan],
    ['Jom',np.nan,456.67,'M'],
    ['Jone',18,35.12,