NumPy入门笔记2

CSV文件

CSV ： 逗号分隔值

CSV是一种常见的文件格式，用来储存批量数据。

CSV文件写入数据

np.savetxt(frame,array,fmt=’%.18e’,delimiter=None)

frame：文件、字符串或产生器，可以是.gz或.bz2的压缩文件。
array：存入文件的数组。
fmt：写入文件的格式，例如：%d %.2f %.18e（自然计数法保留18位小数）。
delimiter：分割字符串，默认是任何空格。（CSV中分割是逗号）

CSV文件读入数据

np.loadtxt(frame,dtype=np.float,delimiter=None,unpack=False)

frame：文件、字符串或产生器，可以是.gz或.bz2的压缩文件。
dtype：数据类型，默认是浮点数。可将CSV中的元素由字符串变成特定格式。
delimiter：分割字符串，默认是任何空格。（CSV文件中是逗号）
unpack：默认为False，如果是True，读入属性将分别写入不同数组变量。

CSV文件的局限性

CSV只能有效存储一维和二维数组

np.savetxt() np.loadtxt()只能有效存取一维和二维数组

多维数组的存取

.tofile(frame,sep=’’,format=’%s’)

frame：文件或字符串的名字
sep：数据分割字符串，如果不指定（空串），写入文件为二进制
format：写入数据的格式

由逗号分隔的文件，与CSV不同，并没有包含维度信息，只是将数组中所有元素逐一列出并输出到dat文件中。
若是不指定分隔符，则文件为二进制文件如下：

占用空间比文本文件小。可以作为数据备份方式。

np.fromfile(frame,dtype=float,count=-1,sep=’’)

frame：文件或字符串的名字。
dtype：读取的数据类型，默认为float。
count：读入元素个数，-1表示读入整个文件。
sep：数据分割字符串，如果不指定（空串），写入文件为二进制。

可以看到输出的c为一维数组，因为输入文件时维度信息丢失，所以需要.reshape()函数来使c变形。

NumPy的便捷文件存取

np.save(frame,array) 或 np.savez(frame,array)

frame：文件名，save以.npy为扩展名，savez压缩扩展名为.npz
array：数组变量
np.load(frame)

文件以二进制的形式将数据存储起来，把数组的原信息（维度、数据类型等）写在npy文件第一行，load函数运行时则会解析第一行，可以有效还原数组。

NumPy的随机数函数子库

NumPy的random子库：

1. .rand(d0,d1,……,dn) 根据d0-dn创建随机数数组，浮点数，[0,1]，均匀分布
2. .randn(d0,d1,……,dn) 根据d0-dn创建随机数数组，标准正态分布
3. .randint(low,high,shape) 根据shape创建随机数数组或整数数组，范围是[low,high)
4. .seed(s) 随机数种子，s是给定的种子值

通过设定随机数种子，可以通过使用获得相同的随机数

5. .shuffle(a) 根据数组a的第1轴进行随机排列，改变原数组
6. .permutation(a) 根据数组a的第1轴产生一个新的乱序数组，不改变原数组
7. .choice(a,size,replace,p) 从一维数组a中以概率p抽取元素，形成size形状新数组，replace表示是否可以重复使用被抽取过的元素，默认为False，即可以重复使用。
8. .uniform(low,high,size) 产生具有均匀分布的数组，low起始值，high结束值，size形状
9. .normal(loc,scale,size) 产生具有正态分布的数组，loc均值，scale标准差，size形状
10. .poisson(lam,size) 产生具有泊松分布的数组，lam随机事件发生率，size形状

np.random的统计函数

1. .sum(a,axis=None) 根据给定轴axis计算数组a相关元素之和，axis整数或元组，默认轴为None指对所有维度运算
2. .mean(a,axis=None) 根据给定轴axis计算数组a相关元素的期望，axis整数或元组，默认轴为None指对所有维度运算
3. .average(a,axis=None,weights=None) 根据给定轴axis计算数组a相关元素的加权平均值，默认轴为None指对所有维度运算
4. .std(a,axis=None) 根据给定轴axis计算数组a相关元素的标准差，默认轴为None指对所有维度运算
5. .var(a,axis=None) 根据给定轴axis计算数组a相关元素的方差，默认轴为None指对所有维度运算

axis=None是统计函数的标配参数，axis=0时，在数组的第一维度（最外层）上进行运算，生成一个单一的与第二维度相同的数组类型。

（2x10+7x5+1x12）/（10+5+1）=4.1875

6. .min(a) .max(a) 计算数组a中元素的最小值、最大值
7. .argmin(a) .argmax(a) 计算数组a中元素最小值、最大值的降一维后下标
8. .unravel_index(index,shape) 根据shape将一维下标index转换成多维下标
9. .ptp(a) 计算数组a中元素最大值与最小值的差
10. .median(a) 计算数组a中元素的中位数（中值）
    

NumPy的梯度函数

np.gradient(f) 计算数组f中元素的梯度，当f为多维时，返回每个梯度维度。

梯度：连续值之间的变化率，即斜率
XY坐标轴连续三个X坐标对应的Y轴值：a，b，c，其中，b的梯度是：（c-a）/2

计算时，后一个值减去前一个值再除去他们之间的距离，例如数组a中元素16的梯度为3.5，则是（19-12）/2得到的。
若没有后一个值，则是当前值减去上一个值再除去他们之间的距离，例如数组a中的元素4，梯度则是（4-9）/1=-5。
若没有前一个值，则是后一个值减去当前值再除去他们之间的距离，例如数组a中的元素12，梯度则是（16-12）/1=4

单元小结：

数据存取与函数：

CSV文件：

1. np.loadtxt()
2. np.savetxt()

多维数据存取：

1. a.tofile()
2. np.fromfile()
3. np.save()
4. np.savez()
5. np.load()

随机函数：

1. .rand()
2. .randn()
3. .randint()
4. .seed()
5. .shuffle()
6. .permutation()
7. .choice()
8. .uniform()
9. .normal()
10. .poisson()

NumPy的统计函数：

1. np.sum()
2. np.mean()
3. np.average()
4. np.std()
5. np.var()
6. np.meadian()
7. np.min()
8. np.max()
9. np.argmin()
10. np.argmax()
11. np.unravel_index()
12. np.ptp()

NumPy的梯度函数：

np.gradient()