数据分析（二）

数据的存取

CSV文件

CSV（Comma-Separated Value,逗号分隔值）
CSV是一种常见的文件格式，用来存储批量数据
缺点：CSV只能有效存储一维和二维数组 np.savetxt() np.loadtxt()只能有效存取一维和二维数组

写

np.savetxt(frame, array, fmt='%.18e', delimiter=None)
•frame : 文件、字符串或产生器，可以是.gz或.bz2的压缩文件
•array : 存入文件的数组
•fmt: 写入文件的格式，例如：%d %.2f %.18e(科学计数法保留18位小数)
•delimiter : 分割字符串，默认是任何空格（在csv中改为逗号）

读

np.loadtxt(frame, dtype=np.float, delimiter=None，unpack=False)
•frame : 文件、字符串或产生器，可以是.gz或.bz2的压缩文件
•dtype: 数据类型，可选
•delimiter : 分割字符串，默认是任何空格 
•unpack : 如果True，读入属性将分别写入不同变量

任意维度数据的存取

写

a.tofile(frame, sep='', format='%s')
•frame : 文件、字符串
•sep: 数据分割字符串，如果是空串，写入文件为二进制
•format : 写入数据的格式

不指定分隔符，写入的为二进制


二进制方法写入只能用来备份

读

np.fromfile(frame, dtype=float, count=‐1, sep='')
•frame : 文件、字符串
•dtype: 读取的数据类型
•count : 读入元素个数，‐1表示读入整个文件
•sep: 数据分割字符串，如果是空串，写入文件为二进制

同样对二进制文件也可用：

该方法需要读取时知道存入文件时数组的维度和元素类型
a.tofile()与a.fromfile()结合使用
可以通过元数据文件来存储额外信息

Numpy的便捷文件存取

必须基于Numpy自定义的文件格式

写

np.save(fname, array) 或np.savez(fname, array)
•fname: 文件名，以.npy为扩展名，压缩扩展名为.npz
•array : 数组变量

读

np.load(fname)
•fname: 文件名，以.npy为扩展名，压缩扩展名为.npz

可以还原原来数据的维度和变量信息，实际是以二进制方式存储，并将元信息（维度等）写在文件第一行，读文件时先读第一行使得有效还原数据

随机数函数

python中random库只能为标量服务，而numpy中的random子库可为数组服务

np.random的随机数函数

函数	说明
rand(d0,d1,…,dn)	根据d0‐dn创建随机数数组，浮点数，[0,1)，均匀分布
randn(d0,d1,…,dn)	根据d0‐dn创建随机数数组，标准正态分布
randint(low[,high,shape])	根据shape创建随机整数或整数数组，范围是[low, high)
seed(s)	随机数种子，s是给定的种子值

通过重复使用同一个随机数种子可以得到相同的随机数数组

函数	说明
shuffle(a)	根据数组a的第1轴进行随排列，改变数组x
permutation(a)	根据数组a的第1轴产生一个新的乱序数组，不改变数组x
choice(a[,size,replace,p])	从一维数组a中以概率p抽取元素，形成size形状新数组 replace表示是否可以重用元素，默认为False

只有最外层元素发生变化，行顺序改变

等概率抽取，被选取过的元素依然有可能被选取

replace参数的值修改为false则不会选取相同的元素

图中参数p与值大小有关

---

函数	说明
uniform(low,high,size)	产生具有均匀分布的数组,low起始值,high结束值,size形状
normal(loc,scale,size)	产生具有正态分布的数组,loc均值,scale标准差,size形状
poisson(lam,size)	产生具有泊松分布的数组,lam随机事件发生率,size形状

统计函数

np.random的统计函数

函数	说明
sum(a, axis=None)	根据给定轴axis计算数组a相关元素之和，axis整数或元组
mean(a, axis=None)	根据给定轴axis计算数组a相关元素的期望，axis整数或元组
average(a,axis=None,weights=None)	根据给定轴axis计算数组a相关元素的加权平均值
std(a, axis=None)	根据给定轴axis计算数组a相关元素的标准差
var(a, axis=None)	根据给定轴axis计算数组a相关元素的方差

axis=None 是统计函数的标配参数

轴参数为1（只在第二维度做运算，第一维度上仍然保持3个元素），最外层的维度为0，第二层的维度为1

函数	说明
min(a) max(a)	计算数组a中元素的最小值、最大值
argmin(a) argmax(a)	计算数组a中元素最小值、最大值的降一维后下标
unravel_index(index, shape)	根据shape将一维下标index转换成多维下标
ptp(a)	计算数组a中元素最大值与最小值的差
median(a)	计算数组a中元素的中位数（中值）

中位数是通过运算求得，所以为浮点数

梯度函数

函数	说明
np.gradient(f)	计算数组f中元素的梯度，当f为多维时，返回每个维度梯度

梯度：连续值之间的变化率，即斜率
计算梯度时，如果该位置两侧值存在则后一个值减去前一个值再除以两个值间的距离就是这个位置上的梯度，如果只有一侧有值则是当前值减去上一个值
XY坐标轴连续三个X坐标对应的Y轴值：a, b, c，其中，b的梯度是：(c‐a)/2


c是二维数组，因此存在两个方向的梯度，会返回两个不同的数组来表示不同维度
返回的第一个梯度数组为行方向即最外层维度（0）的梯度，第二个为梯度数组为列方向即第二层维度的梯度

梯度反映了元素的变化率