转载于:https://www.icourse163.org/learn/BIT-1001870002#/learn/content?type=detail&id=1212743007&cid=1216152008
【第一周】数据分析之表示
单元1: NumPy库入门
一、 ndarray对象的属性
属性 | 说明 |
---|---|
.ndim | 秩,即轴的数量或维度的数量 (例如:二维数组, 维数为二,秩为二。有行和列两个轴,轴数为二) |
.shape | ndarray对象的尺度,对于矩阵,n行m列 |
.size | ndarray对象元素的个数,相当于.shape中n*m的值 |
.dtype | ndarray对象的元素类型 |
.itemsize | ndarray对象中每个元素的大小,以字节为单位 |
import numpy as np
In [1]: a = np.array([[0,1,2,3],
...: [4,5,6,7]])
In [2]: a.ndim
Out[2]: 2
In [3]: a.shape
Out[3]: (2, 4)
In [4]: a.size
Out[4]: 8
In [5]: a.dtype
Out[5]: dtype('int32')
In [6]: a.itemsize
Out[6]: 4
二、ndarray数组创建和变换
1. ndarray数组创建方法
函数 | 说明 |
---|---|
np.arange(n) | 类似range()函数,返回ndarray类型,元素从0到n‐1 |
np.ones(shape) | 根据shape生成一个全1数组,shape是元组类型 |
np.zeros(shape) | 根据shape生成一个全0数组,shape是元组类型 |
np.full(shape,val) | 根据shape生成一个数组,每个元素值都是val |
np.eye(n) | 创建一个正方的n*n单位矩阵,对角线为1,其余为0 |
函数 | 说明 |
---|---|
np.ones_like(a) | 根据数组a的形状生成一个全1数组 |
np.zeros_like(a) | 根据数组a的形状生成一个全0数组 |
np.full_like(a,val) | 根据数组a的形状生成一个数组,每个元素值都是val |
函数 | 说明 |
---|---|
np.linspace() | 根据起止数据等间距地填充数据,形成数组 |
np.concatenate() | 将两个或多个数组合并成一个新的数组 |
import numpy as np
np.arange(10)
np.ones((3,4,5))
np.zeros((3,6), dtype=np.int32)
np.full((3,4,5),666)
np.eye(5)
In [1]: a = np.linspace(1, 10, 4)
In [2]: a
Out[2]: array([ 1., 4., 7., 10.])
In [3]: b = np.linspace(1, 10, 4, endpoint=False)
In [4]: b
Out[4]: array([1. , 3.25, 5.5 , 7.75])
In [5]: np.concatenate((a,b))
Out[5]: array([ 1. , 4. , 7. , 10. , 1. , 3.25, 5.5 , 7.75])
2. ndarray数组的维度变换
方法 | 说明 |
---|---|
.reshape(shape) | 不改变数组元素,返回一个shape形状的数组,原数组不变 |
.resize(shape) | 与.reshape()功能一致,但修改原数组 |
.swapaxes(ax1,ax2) | 将数组n个维度中两个维度进行调换 |
.flatten() | 对数组进行降维,返回折叠后的一维数组,原数组不变 |
In [1]: a = np.arange(9)
In [2]: a
Out[2]: array([0, 1, 2, 3, 4, 5, 6, 7, 8])
In [3]: a.reshape(3,3) # 注意:改变数组形状后,数组内元素个数要和原来个数一样。即3*3=9(个)
Out[3]:
array([[0, 1, 2],
[3, 4, 5],
[6, 7, 8]])
In [4]: a.resize(3,3)
In [5]: a.swapaxes(0,1) # 行列值交换
Out[5]:
array([[0, 3, 6],
[1, 4, 7],
[2, 5, 8]])
In [6]: a.flatten()
Out[6]: array([0, 1, 2, 3, 4, 5, 6, 7, 8])
3. ndarray数组的类型变换
eg:new_a = a.astype(new_type)
.astype(np.float / np.int / …)
In [457]: a
Out[457]:
array([[0, 1, 2],
[3, 4, 5],
[6, 7, 8]])
In [458]: a.astype(np.float)
Out[458]:
array([[0., 1., 2.],
[3., 4., 5.],
[6., 7., 8.]])
4. ndarray数组向列表的转换
ls = a.tolist()
In [459]: a
Out[459]:
array([[0, 1, 2],
[3, 4, 5],
[6, 7, 8]])
In [460]: a.tolist()
Out[460]: [[0, 1, 2], [3, 4, 5], [6, 7, 8]]
三、数组的索引和切片
eg: a[1:3, 1:4:2, :]
注:逗号分隔每个维度,冒号对某一个维度切片(起始:结束:步长)。
In [418]: a
Out[418]:
array([[ 0, 1, 2, 3, 4],
[ 5, 6, 7, 8, 9],
[10, 11, 12, 13, 14]])
In [419]: a[0:2, :] # a[最外层维度取前两个一维数组,第二层维度每个数组取所有数字]
Out[419]:
array([[0, 1, 2, 3, 4],
[5, 6, 7, 8, 9]])
In [420]: a[0:2, 0:4:2] # a[最外层维度取前两个一维数组,第二层维度每个数组取第1和第3个数字]
Out[420]:
array([[0, 2],
[5, 7]])
四、数组的运算
1. NumPy一元函数
函数 | 说明 |
---|---|
np.abs(x) | np.fabs(x) 计算数组各元素的绝对值 |
np.sqrt(x) | 计算数组各元素的平方根 |
np.square(x) | 计算数组各元素的平方 |
np.log(x) np.log10(x) np.log2(x) | 计算数组各元素的自然对数、10底对数和2底对数 |
np.ceil(x) np.floor(x) | 计算数组各元素的ceiling值 或 floor值(向上取整或向下取整) |
np.rint(x) | 计算数组各元素的四舍五入值(浮点数,按个位四舍五入) |
np.modf(x) | 将数组各元素的小数和整数部分以两个独立数组形式返回 |
np.cos(x) np.cosh(x) np.sin(x) np.sinh(x) np.tan(x) np.tanh(x) | 计算数组各元素的普通型和双曲型三角函数 |
np.exp(x) | 计算数组各元素的指数值 |
np.sign(x) | 计算数组各元素的符号值,1(+), 0, ‐1(‐) |
2. NumPy二元函数
函数 | 说明 |
---|---|
+ ‐ * / ** // | 两个数组各元素进行对应运算 |
np.maximum(x,y) np.fmax() np.minimum(x,y) np.fmin() | 元素级的最大值/最小值计算 |
np.mod(x,y) | 元素级的模运算 |
np.copysign(x,y) | 将数组y中各元素值的符号赋值给数组x对应元素 |
< > >= <= == != | 算术比较,产生布尔型数组 |
单元2:NumPy数据存取与函数
一、 数据的CSV文件存取
- np.savetxt(frame, array, fmt=’%.18e’, delimiter=None)
- frame : 文件、字符串或产生器,可以是.gz或.bz2的压缩文件
- array : 存入文件的数组
- fmt : 写入文件的格式,例如:%d %.2f %.18e
- delimiter : 分割字符串,默认是任何空格
- np.loadtxt(frame, dtype=np.float, delimiter=None, unpack=False)
- frame : 文件、字符串或产生器,可以是.gz或.bz2的压缩文件
- dtype : 数据类型,可选
- delimiter : 分割字符串,默认是任何空格
- unpack : 如果True,读入属性将分别写入不同变量
In [461]: a = np.arange(9).reshape(3,3)
In [462]: np.savetxt("a.csv", a, fmt="%d", delimiter=",")
In [463]: np.loadtxt("a.csv", delimiter=",")
Out[463]:
array([[0., 1., 2.],
[3., 4., 5.],
[6., 7., 8.]])
- CSV文件的局限性
- np.savetxt()、np.loadtxt()只能有效存取一维和二维数组
二、多维数据的存取
- a.tofile(frame, sep=’’, format=’%s’)
- frame : 文件、字符串
- sep : 数据分割字符串,如果是空串,写入文件为二进制
- format : 写入数据的格式
- np.fromfile(frame, dtype=float, count=‐1, sep=’’)
- frame : 文件、字符串
- dtype : 读取的数据类型
- count : 读入元素个数,‐1表示读入整个文件
- sep : 数据分割字符串,如果是空串,写入文件为二进制
注意:a.tofile()和np.fromfile()配合使用,读取时需要知道存入文件的数组的维度和元素类型。
In [465]: a = np.arange(9).reshape(3,3)
In [466]: a.tofile("a.dat", format="%d")
In [467]: np.fromfile("a.dat", dtype=np.int).reshape(3,3)
Out[467]:
array([[0, 1, 2],
[3, 4, 5],
[6, 7, 8]])
- NumPy的便捷文件存取
- np.save(fname, array) 或 np.savez(fname, array)
- fname : 文件名,以.npy为扩展名,压缩扩展名为.npz
- array : 数组变量
- np.load(fname)
- fname : 文件名,以.npy为扩展名,压缩扩展名为.npz
三、Numpy的随机数函数
1. np.random. *
函数 | 说明 |
---|---|
rand(d0,d1,…,dn) | 根据d0‐dn创建随机数数组,浮点数,[0,1),均匀分布 (d0‐dn:即数组的形状) |
randn(d0,d1,…,dn) | 根据d0‐dn创建随机数数组,标准正态分布 (d0‐dn:即数组的形状) |
randint(low[,high,shape]) | 根据shape创建随机整数或整数数组,范围是[low, high) |
seed(s) | 随机数种子,s是给定的种子值。 写在创建随机数组的语句之前。想再次调用该数组时,前面加上np.random.seed(s) |
shuffle(a) | 根据数组a的第1轴进行随排列,改变数组x (第1轴:第一列) |
permutation(a) | 根据数组a的第1轴产生一个新的乱序数组,不改变数组x (第1轴:第一列) |
choice(a[,size,replace,p]) | 从一维数组a中以概率p抽取元素,形成size形状新数组 replace表示是否可以重用元素,默认为True |
uniform(low,high,size) | 产生具有均匀分布的数组,low起始值,high结束值,size形状 |
normal(loc,scale,size) | 产生具有正态分布的数组,loc均值,scale标准差,size形状 |
poisson(lam,size) | 产生具有泊松分布的数组,lam随机事件发生率,size形状 |
四、Numpy的统计函数
1. np. *
函数 | 说明 |
---|---|
sum(a, axis=None) | 根据给定轴axis计算数组a相关元素之和,axis为整数(轴序号)或元组。 axis默认为None,按该数组所有维度进行计算。 eg:三维数组的三条轴(0,1,2),即(列,宽,高) sum(0) 按列求和、sum(1) 按行求和、sum(2) 按高求和、 sum(a) 或 sum(a, (0,1,2)) 对所有元素求和 |
mean(a, axis=None) | 根据给定轴axis计算数组a相关元素的期望,axis整数或元组 |
average(a,axis=None,weights=None) | 根据给定轴axis计算数组a相关元素的加权平均值 |
std(a, axis=None) | 根据给定轴axis计算数组a相关元素的标准差 |
var(a, axis=None) | 根据给定轴axis计算数组a相关元素的方差 |
min(a) max(a) | 计算数组a中元素的最小值、最大值 |
argmin(a) argmax(a) | 计算数组a中元素最小值、最大值的一维后下标 (即变成一维数组后的下标) |
unravel_index(index, shape) | 根据shape将一维下标index转换成多维下标 |
ptp(a) | 计算数组a中元素最大值与最小值的差 |
median(a) | 计算数组a中元素的中位数(中值) |
五、Numpy的梯度函数
1. 梯度:连续值之间的变化率,即斜率
XY坐标轴连续三个X坐标对应的Y轴值:a, b, c,
其中,b的梯度是: (c‐a)/2,a的梯度是:(b-a)/1,c的梯度是:(c-b)/1
2. np.gradient(f)函数
函数 | 说明 |
---|---|
np.gradient(f) | 计算数组f中元素的梯度,当f为多维时,返回每个维度梯度 |
In[414]: a
Out[414]:
array([[ 0, 1, 2, 3, 4],
[ 5, 6, 7, 8, 9],
[10, 11, 12, 13, 14]])
In[415]: np.gradient(a)
Out[415]:
[array([[5., 5., 5., 5., 5.], # 最外层维度的梯度 (即按列求梯度)
[5., 5., 5., 5., 5.],
[5., 5., 5., 5., 5.]]),
array([[1., 1., 1., 1., 1.], # 第二层维度的梯度 (即按行求梯度)
[1., 1., 1., 1., 1.],
[1., 1., 1., 1., 1.]])]
单元3:实例1:图像的手绘效果
一、 图像的手绘效果实例代码
from PIL import Image
import numpy as np
a = np.asarray(Image.open("沁沁.jpg").convert('L')).astype('float')
depth = 10. # (0-100)
grad = np.gradient(a) #取图像灰度的梯度值
grad_x, grad_y = grad #分别取横纵图像梯度值
grad_x = grad_x*depth/100.
grad_y = grad_y*depth/100.
A = np.sqrt(grad_x**2 + grad_y**2 + 1.)
uni_x = grad_x/A
uni_y = grad_y/A
uni_z = 1./A
vec_el = np.pi/2.2 # 光源的俯视角度,弧度值
vec_az = np.pi/4. # 光源的方位角度,弧度值
dx = np.cos(vec_el)*np.cos(vec_az) #光源对x 轴的影响
dy = np.cos(vec_el)*np.sin(vec_az) #光源对y 轴的影响
dz = np.sin(vec_el) #光源对z 轴的影响
b = 255*(dx*uni_x + dy*uni_y + dz*uni_z) #光源归一化
b = b.clip(0,255)
im = Image.fromarray(b.astype('uint8')) #重构图像
im.save("pretty_girl.jpg")
后记
本篇博文转载于北理嵩天老师,
在中国大学MOOC开设的课程《Python数据分析与展示》第一周的笔记。
今天是2020年正月初一,祝大家新的一年,身体健康,学业有成,事业顺利,新年快乐 ~