python文件和数据格式化思维导图,思维导图：Numpy+Pandas

思维导图：Numpy+Pandas

附：文本结构

Numpy+Pandas

Numpy

基于矩阵运算的模块

数组转矩阵

A = np.array([[1,2,3],[2,3,4]])

矩阵属性

ndim

维度

shape

形状

size

元素个数

创建矩阵

array

数组形式初始化

dtype

int

int32

float

float32

ones

全1的矩阵

zeros

全0的矩阵

empty

所有元素都接近0的矩阵

np.random.random

随机生成指定形状的矩阵

arange

(start , end , step)

区间

[start,end)

步长

step

默认为 1

linspace

(start , end , num)

区间

[start,end]

点的数量

num

reshape

变形

基本运算

加减

N次方

A**N

普通乘法(同位置元素相乘)

*

矩阵乘法(前者的行元素乘后者的列元素)

写法1

np.dot(A, B)

写法2

A.dot(B)

基本运算2

sum、min、max

axis=0

按列计算

axis=1

按行计算

默认不设置axis

对全部元素

argmin、argmax

求最值的索引

mean、average

求均值

median

中位数

cumsum

累加

[1,2,3,4]=>[1,3,6,10]

diff

累差

[1,2,3,4]

[1,1,1]

后项与前项的差值

nonzero

找出非零项，并将N维度索引分开成N个一维矩阵表示

sort

从小到大排序

可控制axis，默认是axis=1(行)

转置

方法1

A.T

方法2

np.transpose(A)

clip(Array, Array_min, Array_max)

将超出边界的值调整为指定的边界值，未超出的值继续保持原值

索引

表示方式

A[I][j]

A[i, j]

切片操作

start:end

A[2,3:5]

行索引为2，列索引为区间[3,5)

A[:,:5]

前5列的所有数据

A[:5]

前五行的所有数据

开始索引:结束索引

空值代表边界值

::n

A[::3]

跳步，每3个数取第一个数

A.flatten()

展开为1维矩阵

A.flat

是一个迭代器

for a in A.flat

遍历元素

合并

np.vstack(A,B)

纵向合并

[[A],[B]]

np.hstack(A,B)

横向合并

[A,B]

np.concatenate((A,B,B,A),axis=1)

多个矩阵纵向合并

np.concatenate((A,B,B,A),axis=0)

多个矩阵横向合并

一维矩阵(n个元素)的转置

先转成二维

shape=(1,n)

A[np.newaxis,:]

A.reshape(1,A.size)

shape=(n,1)

A[:,np.newaxis]

A.reshape(A.size,1)

再进行转置

newA.T

分割

等量分割

纵向分割

np.split(A,2,axis=1)

np.vsplit(A,2)

横向分割

np.split(A,2,axis=0)

np.hsplit(A,2)

每个分块必须等量，否则报错

不等量分割

纵向分割

np.array_split(A,2,axis=1)

横向分割

np.array_split(A,2,axis=0)

分块可不等量

赋值

浅拷贝

B=A

B和A是同一个对象，变化同步

深拷贝

B=A.copy()

B和A是不同对象，变化不同步

Pandas

主要两个数据结构

Series

pd.Series(indexA,valueA)

左边索引，右边值

pd.Series(valueA)

不配置索引，则索引从0开始++

DataFrame

每个列的类型可不同

df = Pandas.DataFrame(value, 行索引标签, 列索引标签)

value

二维数组或矩阵

行索引标签

行索引，类似数据库表的行号

列索引标签

列索引，即表头，类似数据库表的字段名

df = Pandas.DataFrame(value)

自动生成索引

df[‘列标签’]

按列索引取出一列

df.index

df.columns

df.value

df.describe()

数据情况

df.sort_index(axis=1, ascending=False)

对索引排序，升序

ascending=True为降序

df.sort_values(by=‘列标签’)

对某列值排序

常用方法

pd.date_range('20160101',periods=6)

生成6个日期

选择数据

df[位置:位置]

[s,e)

df[‘标签’:‘标签’]

[s,e]

df[‘列标签’] = df.column

选择某列

df.loc(‘行标签’，‘列标签’)

根据标签，选择某行，某列

可配合 : 使用

df.iloc(行位置，列位置)

根据位置，选择某行，某列

可配合 : 使用

df.ix(行位置，‘列标签’)

混合标签和位置，选择某行，某列

可配合 : 使用

df[df.‘列标签’<8]

使用判断进行筛选

修改数据

选择数据=新赋值

新增数据

df[‘newColumn’]=pd.Series(......)

为DataFrame添加一列新Series

长度需要对齐

删除NaN的数据

df.dropna(axis=0,how=‘any’)

将有NaN值的行删除

df.dropna(axis=1,how=‘all’)

将整列全是NaN的列删除

替换NaN的数据

df.fillna(value=0)

将NaN替换成0

判断是否是NaN

df.isnull()

对每个元素分别进行判断

pd.any(df.isnull)

含有NaN就是True

读取文档

data = pd.read_csv(‘filepath’)

读取csv

支持的格式

csv

Excel

json

html

pickle

......

data. to_pickle(‘data.pickle’)

转成pickle持久化数据存在磁盘

合并

np.concat([df1, df2, df3], axis=1, ignore_index=True, join=‘inner’)

默认axis=0

纵向

默认ignore_index=False

索引会重复

默认join=‘outer’

外连接，不抛弃对不上号的部分

内连接则会抛弃

join_axes = [df1.index]

依据df1的index进行合并

df1没有的部分将被抛弃

df1.append([df2, df3])

只有纵向合并

np.merge(left, right, on=[‘key1’, ’key2’], how=‘left’)

类似数据库的leftTable left join rightTable on leftTable.key1=rightTable.key1 and ...

how

inner

默认

outer

left

right

indicator=True

会把合并情况放在最后一列

indicator=‘命名’

会把合并情况放在最后一列，并给出列名

suffixes=['_boy', '_girl']

为标签添加后缀

区分数据所属，防止标签重叠

pd.merge(left, right, left_index=True, right_index=True, how='outer')

根据索引号合并

画图

import matplotlib.pyplot as plt

plt.plot([xx],[yy])

设置方式1

data = pd.Series()

data.plot()

设置方式2

data = pd.DataFrame

plt.show()

渲染

图类型

plot.scatter

plot.bar

plot.box

plot.hist

plot.area

plot.kde

plot.hexbin

配置

ax = data.plot.scatter(x='A',y='B',color='DarkBlue',label='Class1')

data.plot.scatter(x='A',y='C',color='LightGreen',label='Class2',ax=ax)

ax=ax

将此图画在ax同一张画布上

计算速度优化

矩阵存储方式选择

order=‘C’

C-type以行为主在内存中排列

order=‘F’

Fortran以列为主在内存中排列

根据使用的级别是行是列，进行选择

view比copy快

能不copy就不copy

ravel是flatten的view方式，快很多

一个个选是copy

:是view

::也是view

加法性能对比

a = a + 1

最慢

是copy，并且要转到下一步np.add再进行运算

np.add(a, 1)

稍快

是copy

a += 1

更快

是view

np.add(a, 1, out=a)

最快

是view

numpy比pandas速度快

pandas是基于numpy的扩展