Pandas 学习

1.为什么使用Pandas

• pandas的优势

  • 增强图表可读性
    

  • 便捷的数据处理能力

  • 

  • 读取文件方便

  • 封装了Matplotlib、 Numpy的画图和计算

2.pandas的数据结构

Pandas中一共有三种数据结构， 分别为： Series、 DataFrame和MultiIndex（老版本中叫Panel ） 。
其中Series是一维数据结构， DataFrame是二维的表格型数据结构， MultiIndex是三维的数据结构。

2.1 Series

Series是一个类似于一维数组的数据结构， 它能够保存任何类型的数据， 比如整数、 字符串、 浮点数等， 主要由一组数据和与之相关的索引两
部分构成。

2.1.1 series 的创建

# 导入pandas
import pandas as pd
pd.Series(data=None, index=None, dtype=None)

参数：
data： 传入的数据， 可以是ndarray、 list等
index： 索引， 必须是唯一的， 且与数据的长度相等。 如果没有传入索引参数， 则默认会自动创建一个从0-N的整数索引。
dtype： 数据的类型

2.1.2 Series的属性

为了更方便地操作Series对象中的索引和数据， Series中提供了两个属性index和values

2.2.DataFrame

DataFrame是一个类似于二维数组或表格(如excel)的对象， 既有行索引， 又有列索引

• 行索引， 表明不同行， 横向索引， 叫index， 0轴， axis=0
• 列索引， 表名不同列， 纵向索引， 叫columns， 1轴， axis=1
  

2.2.1 DataFrame的创建

# 导入pandas
import pandas as pd
pd.DataFrame(data=None, index=None, columns=None)

参数：
index： 行标签。 如果没有传入索引参数， 则默认会自动创建一个从0-N的整数索引。
columns： 列标签。 如果没有传入索引参数， 则默认会自动创建一个从0-N的整数索引。

2.2.2 DataFrame的属性

2.2.3 DatatFrame索引的设置

2.2.3.1以某列值设置为新的索引

2.2.3.2 重设索引

reset_index(drop=False)
设置新的下标索引
drop:默认为False， 不删除原来索引， 如果为True,删除原来的索引值

2.3.MultiIndex与Panel

2.3.1 MultiIndex

MultiIndex是三维的数据结构;
多级索引（也称层次化索引） 是pandas的重要功能， 可以在Series、 DataFrame对象上拥有2个以及2个以上的索引。

2.3.1.1 multiIndex的特性

2.3.1.2 multiIndex的创建

2.3.2 Panel

2.3.2.1 panel的创建

class pandas.Panel (data=None, items=None, major_axis=None, minor_axis=None)
作用： 存储3维数组的Panel结构
参数：
data : ndarray或者dataframe
items : 索引或类似数组的对象， axis=0
major_axis : 索引或类似数组的对象， axis=1
minor_axis : 索引或类似数组的对象， axis=2

3 基本数据操作

# 读取文件
data = pd.read_csv("./data/stock_day.csv")
# 删除一些列， 让数据更简单些， 再去做后面的操作
data = data.drop(["ma5","ma10","ma20","v_ma5","v_ma10","v_ma20"], axis=1)

3.1 索引操作

3.1.1 直接使用行列索引(先列后行)

• 获取’2018-02-27’这天的’close’的结果
• 结合loc或者iloc使用索引
• 使用ix组合索引
  

3.2 赋值操作

3.3 排序

排序有两种形式， 一种对于索引进行排序， 一种对于内容进行排序

3.3.1 DataFrame排序

3.3.2 Series排序

• 使用series.sort_values(ascending=True)进行排序，series排序时， 只有一列， 不需要参数
• 使用series.sort_index()进行排序，与df一致
  

4 DataFrame 运算

4.3 统计运算

4.3.2 统计函数

4.3.3 累计统计函数

5.文件读取与存储

我们的数据大部分存在于文件当中， 所以pandas会支持复杂的IO操作， pandas的API支持众多的文件格式， 如CSV、 SQL、 XLS、 JSON、
HDF5。

5.1 CSV

5.1.1 read_csv

pandas.read_csv(filepath_or_buffer, sep =‘,’, usecols )
filepath_or_buffer:文件路径
sep :分隔符， 默认用","隔开
usecols:指定读取的列名， 列表形式

• 举例： 读取之前的股票的数据
  

5.1.2 to_csv

DataFrame.to_csv(path_or_buf=None, sep=', ’, columns=None, header=True, index=True, mode=‘w’, encoding=None)
path_or_buf :文件路径
sep :分隔符， 默认用","隔开
columns :选择需要的列索引
header :boolean or list of string, default True,是否写进列索引值
index:是否写进行索引
mode:‘w’： 重写, ‘a’ 追加

# 选取10行数据保存,便于观察数据
data[:10].to_csv("E:/studyData/data/test.csv", columns=['open'])

5.2 hdf5

5.3 json

JSON是我们常用的一种数据交换格式， 前面在前后端的交互经常用到， 也会在存储的时候选择这种格式。 所以我们需要知道Pandas如何进行
读取和存储JSON格式。

6.数据高级处理

6.1 缺失值处理

6.1.1 如何处理nan

• 获取缺失值的标记方式(NaN或者其他标记方式)

• 如果缺失值的标记方式是NaN

  • 判断数据中是否包含NaN：
    • pd.isnull(df),
    • pd.notnull(df)
  • 存在缺失值nan:
    • 1、 删除存在缺失值的:dropna(axis=‘rows’)
    • 注： 不会修改原数据， 需要接受返回值
    • 2、 替换缺失值:fillna(value, inplace=True)
      value:替换成的值
      inplace:True:会修改原数据， False:不替换修改原数据， 生成新的对象

• 如果缺失值没有使用NaN标记， 比如使用"？ "

  • 先替换‘?’为np.nan， 然后继续处理

6.2.1 电影数据的缺失值处理

6.2.1.1 存在缺失值nan,并且是np.nan

• 电影数据文件获取

# 读取电影数据
movie = pd.read_csv("./data/IMDB-Movie-Data.csv")

• 判断缺失值是否存在

pd.notnull(movie)
np.all(pd.notnull(movie)) # true代表不存在缺失值，false代表存在
np.any(pd.isnull(movie)) #里面如果有一个缺失值，返回true

# 删除缺失值
# 不修改原数据
data=movie.dropna()

• 替换缺失值
  
• 替换所有缺失值

for i in movie.columns:
if np.all(pd.notnull(movie[i])) == False:
print(i)
movie[i].fillna(movie[i].mean(), inplace=True)

6.2.1.2不是缺失值nan， 有默认标记的

解决办法：
1、 先替换‘?’为np.nan
df.replace(to_replace=, value=)
to_replace:替换前的值
value:替换后的值

# 把一些其它值标记的缺失值， 替换成np.nan
wis = wis.replace(to_replace='?', value=np.nan)

2、 在进行缺失值的处理

# 删除
wis = wis.dropna()

总结：

6.2 数据离散化

6.2…1股票的涨跌幅离散化

6.3 数据合并

应用pd.concat实现数据的合并
应用pd.merge实现数据的合并

6.3.1 pd.concat实现数据合并

pd.concat([data1, data2], axis=1)
按照行或列进行合并,axis=0为列索引， axis=1为行索引

6.3.2 pd.merge

pd.merge(left, right, how=‘inner’, on=None)
可以指定按照两组数据的共同键值对合并或者左右各自
left : DataFrame
right : 另一个DataFrame
on : 指定的共同键
how:按照什么方式连接

6.3.2.1 pd.merge合并

6.3.3 交叉透视表

6.3.4 分组聚合