数据存取
csv文件的存取
CSV(Comma-Separated Value,逗号分隔值)是一种常见的文件格式,用来存储批量数据。
将numpy数组写入到csv文件中的数据当中:
np.savetxt(frame,array,fmt='%.18e',delimiter=None)
- frame:文件、字符串或产生器,可以是.gz或.bz2的压缩文件。
- array:存入文件的数组。
- fmt:写入文件的格式,例如:%d %.2f %.18e。
- delimiter:分割字符串,默认是任何空格。
示例:
若要将csv文件中的数据读入到numpy数组当中,则:
np.loadtxt(frame, dtype=np.float, delimiter=None, unpack=False)
- frame:文件、字符串或产生器,可以是.gz或.bz2的压缩文件。
- dtype:数据类型,可选。
- delimiter:分割字符串,默认是任何空格。
- unpack:如果True,读入属性将分别写入不同变量。
示例:
In [5]: b = np.loadtxt('a1.csv', delimiter=',')
In [6]: b
Out[6]:
array([[ 0., 1., 2., 3., 4., 5., 6., 7., 8., 9., 10.,
11., 12., 13., 14., 15., 16., 17., 18., 19.],
[ 20., 21., 22., 23., 24., 25., 26., 27., 28., 29., 30.,
31., 32., 33., 34., 35., 36., 37., 38., 39.],
[ 40., 41., 42., 43., 44., 45., 46., 47., 48., 49., 50.,
51., 52., 53., 54., 55., 56., 57., 58., 59.],
[ 60., 61., 62., 63., 64., 65., 66., 67., 68., 69., 70.,
71., 72., 73., 74., 75., 76., 77., 78., 79.],
[ 80., 81., 82., 83., 84., 85., 86., 87., 88., 89., 90.,
91., 92., 93., 94., 95., 96., 97., 98., 99.]])
In [7]: b = np.loadtxt('a1.csv', dtype=np.int, delimiter=',')
In [8]: b
Out[8]:
array([[ 0, 1, 2, 3, 4, 5, 6, 7, 8, 9, 10, 11, 12, 13, 14, 15, 16,
17, 18, 19],
[20, 21, 22, 23, 24, 25, 26, 27, 28, 29, 30, 31, 32, 33, 34, 35, 36,
37, 38, 39],
[40, 41, 42, 43, 44, 45, 46, 47, 48, 49, 50, 51, 52, 53, 54, 55, 56,
57, 58, 59],
[60, 61, 62, 63, 64, 65, 66, 67, 68, 69, 70, 71, 72, 73, 74, 75, 76,
77, 78, 79],
[80, 81, 82, 83, 84, 85, 86, 87, 88, 89, 90, 91, 92, 93, 94, 95, 96,
97, 98, 99]])
csv两种函数只能存储一维和二维数组,有其局限性
多维数据存取
a.tofile(frame, sep='', format='%s')
- frame:文件、字符串。
- sep:数据分割字符串,如果是空串,写入文件为二进制。
- format:写入数据的格式。
np.fromfile(frame, dtype=float, count=-1, sep='')
- frame:文件、字符串。
- dtype:读取的数据类型。
- count:读取元素个数,-1表示读入整个文件。
- sep:数据分割字符串,如果是空串,写入文件为二进制。
Numpy的便捷文件存取
np.save(fname,array) 或 np.savez(fname,array)
- fname:文件名,以.npy为扩展名,压缩扩展名为.npz
- array:数组变量
np.load(fname)
- fname:文件名,以.npy为扩展名,压缩扩展名为.npz
Numpy的随机函数、统计函数、梯度函数
随机函数
函数 | 说明 |
---|---|
rand(d0,d1,…,dn) | 根据d0-dn创建随机数数组,浮点数,[0,1),均匀分布 |
randn(d0,d1,…,dn) | 根据d0-dn创建随机数数组,标准正态分布 |
randint(low[,high,shape]) | 根据shape创建随机整数或整数数组,范围是[low,high) |
seed(s) | 根据数组a的第一轴进行随排列,改变数组x |
shuffle(a) | 根据数组a的第一轴产生随排列,改变数组a |
permutation(a) | 根据数组a的第一轴产生一个新的乱序数组,不改变数组x |
choice(a[,size,replace,p] | 从一维数组a中以概率p抽取元素,形成size形状新数组。replace表示是否可以重用元素,默认为False |
uniform(low,high,size) | 产生具有均匀分布的数组,low起始值,high结束值,size形状 |
normal(loc,scale,size) | 产生具有正态分布的数组,loc均值,scale标准差,size形状 |
poisson(lam,size) | 产生具有泊松分布的数组,lam随机事件发生率,size形状 |
统计函数
函数 | 说明 |
---|---|
sum(a,axis=None) | 根据给定轴axis计算数组a相关元素之和,axis整数或元组 |
mean(a,axis=None) | 根据给定轴axis计算数组a相关元素的期望,axis整数或元组 |
average(a,axis=None,weights=None) | 根据给定轴axis计算数组a相关元素的加权平均值 |
std(a,axis=None) | 根据给定轴axis计算数组a相关元素的标准差 |
var(a,axis=None) | 根据给定轴axis计算数组a相关元素的方差 |
min(a) max(a) | 计算数组a中元素的最小值、最大值 |
argmin(a) argmax(a) | 计算数组a中元素最小值、最大值的降一维后下标 |
unravel_index(index,shape) | 根据shape将一维下标index转换为多维下标 |
ptp(a) | 计算数组a中元素最大值和最小值的差 |
median(a) | 计算数组a中元素的中位数(中值) |
梯度函数
函数 | 说明 |
---|---|
np.gradient(f) | 计算数组f中元素的梯度,当f为多维时,返回每个维度梯度 |
分母是两个数的距离
梯度:连续值之间的变化率,即斜率,反应了元素的变化率
XY坐标轴连续三个X坐标对应的Y轴值:a,b,c,其中b的梯度是:(c-a)/2
示例: