文章目录
北理工嵩天老师的慕课课程 《python数据分析与展示》学习笔记!
1. 数据的维度
一个数据表达一个含义,一组数据表达一个或多个含义,为了描述一组数据所表示的含义,我们需要引入“维度”这一概念。对于一组数据,即可以在一维方向上展开,形成一个线性关系,也可以在二维的方向上展开,表示两个不同的含义。
一维数据:
一维数据由对等关系的有序或无序数据构成,采用线性方式组织。
对应python列表、数组和集合等概念。
列表和数组都是一组数据的有序结构
列表:数据类型可以不同
数组:数据类型必须相同
[3.12,3.22,3.56,3.67] # 列表类型,有序
{3.12,3.22,3.56,3.67} # 集合类型,无序
二维数据:
二维数据由多个一维数据构成,是一维数据的组合形式。
表格是典型的二维数据!
[[3.12,3.22,3.56,3.67],[3.31,3.55,3.78,3.90]] # 列表类型,有序
多维数据
多维数据是由一维数据或二维数据在新维度上扩展形成。
高维数据
高位数据仅利用最基本的二元关系展示数据间的复杂结构。
2. NumPy库
NumPy的引用:
import NumPy as np
NumPy 中提供了一个强大的n维数组对象:ndarray
- 数组对象可以去掉元素间运算所需的循环,使一维向量更像单个数据。
- 设置专门的数组对象,进过优化,可以提升这类应用的运算速度。
例如:计算A2+B3,其中A和B是一位数组。从程序可以看到,ndarray要由于python常规方法的。
import NumPy as np
def pySum1():
a = [0, 1, 2, 3, 4]
b = [5, 6, 7, 8, 9]
c = []
for i in range(len(a)):
c.append(a[i]**2+b[i]**3)
return c
def pySum2():
a = np.array[0, 1, 2, 3, 4]
b = np.array[5, 6, 7, 8, 9]
c = a**2 + b**3
return c
print(pySum1())
print(pySum2())
2.1 ndarray的引入
ndarray是一个多维数组对象,由两部分组成:实际的数据,描述这些数据的元数据(数据维度、数据类型等)。ndarray数组一般要求所有元素类型相同(同质),数组下标从0开始。其基本运算属性如下:
属性 | 说明 |
---|---|
.ndim | 秩,即轴的数量或维度的数量 |
.shape | ndarrary对象的尺度,对于矩阵,n行m列 |
.size | ndarrary对象元素的个数,相当于.shape中n*m的值 |
.dtype | ndarrary对象的元素类型 |
.itemsize | ndarrary对象中每个元素的大小,以字节为单位 |
>>> a = np.array([[0,1,2,3,4],[9,8,7,6,5]])
>>> a.ndim
2
>>> a.shape
(2, 5)
>>> a.size
10
>>> a.dtype
dtype('int32')
>>> a.itemsize
4
ndarray 支持多种元素类型,可以对元素类型进行精确定义,有助于NumPy合理使用存储空间并优化性能,同时可以满足大量数据的科学计算的要求:
数据类型(有符号数) | 说明 | 数据类型 | 说明 |
---|---|---|---|
bool | 布尔类型,True或False | uint8 | 8位无符号整数,取值[0,255] |
intc | 与C语言中的int类型一致,一般是int32或int64 | uint16 | 16位无符号整数,取值[0,65535] |
intp | 用于索引,与C中ssize_t一致,int32或int64 | uint32 | 32位无符号整数,取值[0,2^32-1] |
int8 | 字节长度的整数,取值[-128,127] | uint64 | 64位无符号整数,取值[0,2^64-1] |
in16 | 16位长度的整数,取值[-32768,32767] | float16 | 16位半精度浮点数:1位符号位,5位指数,10位尾数 |
int32 | 32位长度的整数,取值[-2^32, 2^32 -1] | float32 | 326位半精度浮点数:1位符号位,8位指数,23位尾数 |
int64 | 64位长度的整数,取值[-2^63, 2^63 -1] | float64 | 64位半精度浮点数:1位符号位,11位指数,52位尾数 |
complex64 | 复数类型,实部和虚部都是32位浮点数 | complex128 | 复数类型,实部和虚部都是64位浮点数 |
2.2 ndarray数组的创建
(1)从python中的列表、元组等类型创建ndarray数组。
x = np.array(list/tuple, dtype=np.float32)
当np.array()不指定dtype时,NumPy将根据数据情况关联一个dtype类型。
>>> x = np.array([1,2,3,4])
>>> print(x)
[1 2 3 4]
>>> x = np.array((1,2,3,4))
>>> print(x)
[1 2 3 4]
>>> x = np.array([[1,2,3,4],(5,6,7,8)])
>>> print(x)
[[1 2 3 4]
[5 6 7 8]]
(2) 使用NumPy中函数创建ndarray数组
如:arange,ones,zeros等。
函数 | 说明 |
---|---|
np.arange(n) | 类似range()函数,返回ndarray类型,元素从0到n-1 |
np.ones(shape) | 根据shape生成一个全1数组,shape是元组类型 |
np.zeros(shape) | 根据shape生成一个全0数组,shape是元组类型 |
np.full(shape, value) | 根据shape生成一个数组,每个元素值都为value |
np.eye(n) | 创建一个正方的n*n单位矩阵,对角线为1,其余为0 |
shape是从数组的最外层到最内层的数据维度的表示方式
除了arange()函数,其他的生成的都是 浮点类型的数,除非使用dtype来声明数据类型
>>> np.arange(10)
array([0, 1, 2, 3, 4, 5, 6, 7, 8, 9])
>>> np.ones((3,6))
array([[1., 1., 1., 1., 1., 1.],
[1., 1., 1., 1., 1., 1.],
[1., 1., 1., 1., 1., 1.]])
>>> np.eye(3, dtype=np.int32)
array([[1, 0, 0],
[0, 1, 0],
[0, 0, 1]])
函数 | 说明 |
---|---|
np.ones_like(a) | 根据数组a的形状生成一个全1数组 |
np.zeros_like(a) | 根据数组a的形状生成一个全0数组 |
np.full_like(a, val) | 根据数组a的形状生成一个数组,每个元素值都是val |
(3)使用NumPy中其他函数创建ndarray数组。
函数 | 说明 |
---|---|
np.linspace(a,b,c) | 根据起止数据等间距地填充数据,形成数组 (在a~b之间生成c个数) |
np.concatenate() | 将两个或多个数组合并为一个数组 |
在linspace()函数中,可以加入参数“endpoint=False”,表示最后一个元素b将不被包含在生成的c个元素之中。
>>> a = np.linspace(1,10,4)
>>> a
array([ 1., 4., 7., 10.])
>>> b = np.linspace(1,10,4,endpoint=False)
>>> b
array([1. , 3.25, 5.5 , 7.75])
>>> c = np.concatenate((a,b))
>>> c
array([ 1. , 4. , 7. , 10. , 1. , 3.25, 5.5 , 7.75])
对于创建后的ndarray数组,可以对其进行维度变换和元素类型变化:
方法 | 说明 |
---|---|
.reshape(shape) | 不改变数组元素,返回一个shape形状的数组,原数组不变 |
.resize(shape) | 与.reshape()功能一致,但修改原数组 |
.swapaxes(ax1,ax2) | 将数组n个维度中两个维度进行调换 |
.flatten() | 对数组进行降维,返回折叠后的一维数组,原数组不变 |
.astype() | 对数组元素类型进行改变,返回一个新的数组,原数组不变 |
要注意这些方法是否改变了原数组,同时要保证和原数组的元素总数保持一致!
astype()方法一定会创建新的数组(原始数据的一个拷贝),即使两个类型一致。
解释“np.int”:表示整数类型,程序会将元素解析为整数,但具体位数由程序自动调节。
>>> a = np.ones((2,3,4),dtype=np.int32)
>>>
>>> a.reshape((3,8))
array([[1, 1, 1, 1, 1, 1, 1, 1],
[1, 1, 1, 1, 1, 1, 1, 1],
[1, 1, 1, 1, 1, 1, 1, 1]])
>>> a
array([[[1, 1, 1, 1],
[1, 1, 1, 1],
[1, 1, 1, 1]],
[[1, 1, 1, 1],
[1, 1, 1, 1],
[1, 1, 1, 1]]])
>>>
>>> a.resize((3,8))
>>> a
array([[1, 1, 1, 1, 1, 1, 1, 1],
[1, 1, 1, 1, 1, 1, 1, 1],
[1, 1, 1, 1, 1, 1, 1, 1]])
此外,我们可以使用“ls = a.tolist()”方法,将数组转换为列表!
>>> a = np.ones((2,3,4),dtype=np.int32)
>>> b = a.tolist()
>>> b
[[1, 1, 1, 1, 1, 1, 1, 1], [1, 1, 1, 1, 1, 1, 1, 1], [1, 1, 1, 1, 1, 1, 1, 1]]
2.3 ndarray数组的操作
数组的索引:获取数组中特定位置元素的过程
数组的切片:获取数组元素子集的过程
(1) 一维数组的索引和切片:
提供了从编号0开始向右递增和从编号-1开始向左递减的两种方式!
索引:a[位置编号]
切片:a[起止编号: 终止编号(不含): 步长] ,三个元素以冒号分割
>>> a = np.array([0,1,2,3])
>>> a[3]
3
>>> a[0:3:2]
array([0, 2])
(2) 多维数组的索引和切片:
索引:[第一个维度的索引, 第二个维度的索引, 第三个维度的索引] ,每个维度一个索引,以逗号分割!其中[-a, -b, -c]表示倒数第a组中的倒数第b组的倒数第c个元素。
切片:[第一个维度的切片, 第二个维度的切片, 第三个维度的切片],在每个维度上给出一个切片空间,每个维度内部切片方式和一维是一样的。
>>> a = np.arange(24).reshape((2,3,4))
>>> a[0,1,3]
7
>>> a[-1,-2,-3]
17
>>> #切片↓,这块要好好理解下。
>>> a[:, 1, -3]
array([ 5, 17])
>>> a[:, 1:3, :]
array([[[ 4, 5, 6, 7],
[ 8, 9, 10, 11]],
[[16, 17, 18, 19],
[20, 21, 22, 23]]])
>>> a[:, :, ::2]
array([[[ 0, 2],
[ 4, 6],
[ 8, 10]],
[[12, 14],
[16, 18],
[20, 22]]])
2.4 ndarray数组的运算
(1) 数组与标量之间的运算:
数组与标量之间的运算作用于数组的每一个元素。
>>> a = np.arange(24).reshape((2,3,4))
>>> a
array([[[ 0, 1, 2, 3],
[ 4, 5, 6, 7],
[ 8, 9, 10, 11]],
[[12, 13, 14, 15],
[16, 17, 18, 19],
[20, 21, 22, 23]]])
>>> a.mean()
11.5
>>> a = a/a.mean()
>>> a
array([[[0. , 0.08695652, 0.17391304, 0.26086957],
[0.34782609, 0.43478261, 0.52173913, 0.60869565],
[0.69565217, 0.7826087 , 0.86956522, 0.95652174]],
[[1.04347826, 1.13043478, 1.2173913 , 1.30434783],
[1.39130435, 1.47826087, 1.56521739, 1.65217391],
[1.73913043, 1.82608696, 1.91304348, 2. ]]])
(2) NumPy一元函数:
函数 | 说明 | 函数 | 说明 |
---|---|---|---|
np.abs(x) np.fabs(x) | 计算数组各元素的绝对值 | np.rint(x) | 计算数组各元素的四舍五入值 |
np.sqrt(x) | 计算数组各元素的平方根 | np.modf(x) | 将数组各元素的小数和整数部分以两个独立数组的形式返回 |
np.square(x) | 计算数组各元素的平方 | np.exp(x) | 计算数组各元素的指数值 |
np.ceil(x) np.floor(x) | 计算数组各元素的ceiling或floor值 | np.sign(x) | 计算数组各元素的符号值,1(+),0,-1(-) |
np.log(x) np.log10(x) np.log2(x) | 数组各元素的自然对数、10底对数和2底对数 | np.cos(x)np.cosh(x) np.sin(x)np.sinh(x) np.tan(x)np.tanh(x) | 数组各元素的普通型和双曲型三角函数 |
注意:这里的a并未真的被改变!
>>> a = np.arange(24).reshape((2,3,4))
>>> np.square(a)
array([[[ 0, 1, 4, 9],
[ 16, 25, 36, 49],
[ 64, 81, 100, 121]],
[[144, 169, 196, 225],
[256, 289, 324, 361],
[400, 441, 484, 529]]], dtype=int32)
>>> a
array([[[ 0, 1, 2, 3],
[ 4, 5, 6, 7],
[ 8, 9, 10, 11]],
[[12, 13, 14, 15],
[16, 17, 18, 19],
[20, 21, 22, 23]]])
(3) NumPy二元函数:
函数 | 说明 |
---|---|
+ - * / ** | 两个数组各元素进行对应运算 |
np.maximum(x,y) np.fmax() np.minimum(x,y) np.fmin() | 元素级的最大/最小值计算 |
np.mod(x,y) | 元素的模运算 |
np.copysign(x,y) | 将数组y中各元素值的符号赋值给数组x对应元素 |
> < >= <= == != | 算术比较,产生布尔型数组 |
>>> a = np.arange(24).reshape((2,3,4))
>>> b = np.sqrt(a)
>>> a
array([[[ 0, 1, 2, 3],
[ 4, 5, 6, 7],
[ 8, 9, 10, 11]],
[[12, 13, 14, 15],
[16, 17, 18, 19],
[20, 21, 22, 23]]])
>>> b
array([[[0. , 1. , 1.41421356, 1.73205081],
[2. , 2.23606798, 2.44948974, 2.64575131],
[2.82842712, 3. , 3.16227766, 3.31662479]],
[[3.46410162, 3.60555128, 3.74165739, 3.87298335],
[4. , 4.12310563, 4.24264069, 4.35889894],
[4.47213595, 4.58257569, 4.69041576, 4.79583152]]])
>>>
>>> np.maximum(a,b)
array([[[ 0., 1., 2., 3.],
[ 4., 5., 6., 7.],
[ 8., 9., 10., 11.]],
[[12., 13., 14., 15.],
[16., 17., 18., 19.],
[20., 21., 22., 23.]]])
>>> b[0,0,1]=100
>>> b
array([[[ 0. , 100. , 1.41421356, 1.73205081],
[ 2. , 2.23606798, 2.44948974, 2.64575131],
[ 2.82842712, 3. , 3.16227766, 3.31662479]],
[[ 3.46410162, 3.60555128, 3.74165739, 3.87298335],
[ 4. , 4.12310563, 4.24264069, 4.35889894],
[ 4.47213595, 4.58257569, 4.69041576, 4.79583152]]])
>>> a > b
array([[[False, False, True, True],
[ True, True, True, True],
[ True, True, True, True]],
[[ True, True, True, True],
[ True, True, True, True],
[ True, True, True, True]]])