【Python数据分析】Numpy的使用

numpy（Numerical Python）提供了python对 多维数组对象的支持：ndarray，具有矢量运算能力，快速、节省空间。numpy支持高级大量的维度数组与矩阵运算，此外也针对数组运算提供大量的数学函数库。

import numpy

数组创建

ndarray：N维数组对象（矩阵），所有元素必须是相同类型。

函数	说明
array	将输入数据(列表、元组、数组或其他序列类型)转换为ndarray
asarray	将输入转换为ndarray，如果输入本身就是一个ndarray就不进行复制
arange	类似于内置的range，但返回的是一个ndarray而不是列表
ones,ones_like	根据指定的形状和dtype创建一个全1数组。ones_like以另一个数组为参数，并根据其形状和dtype创建一个全1数组
zeros,zeros_like	类似于ones和ones_like，只不过产生的是全0数组而已
empty,empty_like	创建新数组，只分配内存空间但不填充任何值
eye,identity	创建一个正方的NxN单位矩阵(对角线为1，其余为0)

import numpy
x = numpy.array([1,2,3,4,5,6])
print(x)
x = numpy.zeros(6)
print(x)
x = numpy.zeros((2,3))
print(x)
x = numpy.ones((2,3))
print(x)
x = numpy.empty((3,3))
print(x)
print('使用arrange生成连续元素')
print(numpy.arange(6)) # [0,1,2,3,4,5,] 开区间
print(numpy.arange(0,6,2))  # [0, 2，4]

numpy.array(object, dtype=None, copy=True, order='K',subok=False, ndmin=0)

参数名称	说明
object	接收array，表示想要创建的数组，无默认
dtype	接收data-type，表示数组所需的数据类型。如果未给定，则选择保存对象所需的最小类型，默认为None
ndmin	接收int，指定生成数组应该具有的最小维数，默认为None

dtype：

示例：

import numpy
print('生成指定元素类型的数组:设置dtype属性')
x = numpy.array([1, 2.6, 3], dtype=numpy.int64)
print(x)  # 元素类型为int64
print(x.dtype)
x = numpy.array([1, 2, 3], dtype=numpy.float64)
print(x)  # 元素类型为float64
print(x.dtype)

print('使用astype复制数组，并转换类型')
x = numpy.array([1, 2.6, 3], dtype=numpy.float64)
y = x.astype(numpy.int32)
print(y)  # [1 2 3]
print(x)  # [ 1.   2.6  3. ]
z = y.astype(numpy.float64)
print(z)  # [ 1.  2.  3.]

print('将字符串元素转换为数值元素')
x = numpy.array(['1', '2', '3'], dtype=numpy.string_)
y = x.astype(numpy.int32)
print(x)  # ['1' '2' '3']
print(y)  # [1 2 3] 若转换失败会抛出异常

print('使用其他数组的数据类型作为参数')
x = numpy.array([1., 2.6, 3.], dtype=numpy.float32);
y = numpy.arange(3, dtype=numpy.int32);
print(y)  # [0 1 2]
print(y.astype(x.dtype))  # [ 0.  1.  2.]

数组属性

ndarray是存储单一数据类型的多维数组

属性	说明
ndim	返回int，表示数组的维数
shape	返回tuple，表示数组的尺寸。对于n行m列的矩阵，形状为(n,m)
size	返回int，表示数组的元素总数，等于数组形状的乘积
dtype	返回data-type，描述数组中元素的类型
itemsize	返回int，表示数组的每个元素的大小(以字节为单位)

arr1 = numpy.array([[1,2,3],[4,5,6]])
print(arr1)
print(arr1.ndim)
print(arr1.shape)
print(arr1.size)
print(arr1.dtype)
print(arr1.itemsize)

ndarray数组索引

ndarray数组的基本索引和切片

一维数组的索引：与Python的列表索引功能相似

多维数组的索引：

• arr[r1:r2, c1:c2]
• arr[1,1] 等价 arr[1][1]
• [:] 代表某个维度的数据

import numpy
print('ndarray的基本索引')
x = numpy.array([[1, 2], [3, 4], [5, 6]])
print(x[0])  # [1,2]
print(x[0][1])  # 2,普通python数组的索引
print(x[0, 1])  # 同x[0][1]，ndarray数组的索引
x = numpy.array([[[1, 2], [3, 4]], [[5, 6], [7, 8]]])
print(x[0])  # [[1 2],[3 4]]
y = x[0].copy()  # 生成一个副本
z = x[0]  # 未生成一个副本
print(y)  # [[1 2],[3 4]]
print(y[0, 0])  # 1
y[0, 0] = 0
z[0, 0] = -1
print(y)  # [[0 2],[3 4]]
print(x[0])  # [[-1 2],[3 4]]
print(z)  # [[-1 2],[3 4]]

print('ndarray的切片')
x = numpy.array([1, 2, 3, 4, 5])
print(x[1:3])  # [2,3] 右边开区间
print(x[:3])  # [1,2,3] 左边默认为 0
print(x[1:])  # [2,3,4,5] 右边默认为元素个数
print(x[0:4:2])  # [1,3] 下标递增2
x = numpy.array([[1, 2], [3, 4], [5, 6]])
print(x[:2])  # [[1 2],[3 4]]
print(x[:2, :1])  # [[1],[3]]
x[:2, :1] = 0  # 用标量赋值
print(x)  # [[0,2],[0,4],[5,6]]
x[:2, :1] = [[8], [6]]  # 用数组赋值
print(x)  # [[8,2],[6,4],[5,6]]

ndarray数组的布尔索引

布尔索引：使用布尔数组作为索引。arr[condition]，condition为一个条件/多个条件组成的布尔数组。

import numpy
print('ndarray的布尔型索引')
x = numpy.array([3,2,3,1,3,0])
# 布尔型数组的长度必须跟被索引的轴长度一致
y = numpy.array([True,False,True,False,True,False])
print(x[y]) # [3,3,3]
print(x[y==False]) # [2,1,0]
print(x>=3) # [ True False  True False  True  False]
print(x[~(x>=3)]) # [2,1,0]
print((x==2)|(x==1)) # [False  True False  True False False]
print(x[(x==2)|(x==1)]) # [2 1]
x[(x==2)|(x==1)] = 0
print(x) # [3 0 3 0 3 0]

ndarray数组的花式索引

花式索引：使用整型数组作为索引。

import numpy
print('ndarray的花式索引:使用整型数组作为索引')
x = numpy.array([1,2,3,4,5,6])
print(x[[0,1,2]]) # [1 2 3]
print(x[[-1,-2,-3]]) # [6,5,4]
x = numpy.array([[1,2],[3,4],[5,6]])
print(x[[0,1]]) # [[1,2],[3,4]]
print(x[[0,1],[0,1]]) # [1,4] 打印x[0][0]和x[1][1]
print(x[[0,1]][:,[0,1]]) # 打印01行的01列 [[1,2],[3,4]]
# 使用numpy.ix_()函数增强可读性
print(x[numpy.ix_([0,1],[0,1])]) #同上 打印01行的01列 [[1,2],[3,4]]
x[[0,1],[0,1]] = [0,0]
print(x) # [[0,2],[3,0],[5,6]]

ndarray数组的转置和轴对换

数组的转置/轴对换只会返回源数据的一个视图，不会对源数据进行修改。

import numpy
print('ndarray数组的转置和轴对换')
k = numpy.arange(9) #[0,1,....8]
m = k.reshape((3,3)) # 改变数组的shape复制生成2维的，每个维度长度为3的数组
print(k) # [0 1 2 3 4 5 6 7 8]
print(m) # [[0 1 2] [3 4 5] [6 7 8]]
# 转置(矩阵)数组：T属性 : mT[x][y] = m[y][x]
print(m.T) # [[0 3 6] [1 4 7] [2 5 8]]
# 计算矩阵的内积 xTx
print(numpy.dot(m,m.T)) # numpy.dot点乘
# 高维数组的轴对象
k = numpy.arange(8).reshape(2,2,2)
print(k) # [[[0 1],[2 3]],[[4 5],[6 7]]]
print(k[1][0][0])
# 轴变换 transpose 参数:由轴编号组成的元组
m = k.transpose((1,0,2)) # m[y][x][z] = k[x][y][z]
print(m) # [[[0 1],[4 5]],[[2 3],[6 7]]]
print(m[0][1][0])
# 轴交换 swapaxes (axes：轴)，参数:一对轴编号
m = k.swapaxes(0,1) # 将第一个轴和第二个轴交换 m[y][x][z] = k[x][y][z]
print(m) # [[[0 1],[4 5]],[[2 3],[6 7]]]
print(m[0][1][0])
# 使用轴交换进行数组矩阵转置
m = numpy.arange(9).reshape((3,3))
print(m) # [[0 1 2] [3 4 5] [6 7 8]]
print(m.swapaxes(1,0)) # [[0 3 6] [1 4 7] [2 5 8]]

ndarray通用函数

通用函数（ufunc）是一种对ndarray中的数据执行元素级运算的函数。

一元ufunc

代码示例：

import numpy
print('一元ufunc示例')
x = numpy.arange(6)
print(x) # [0 1 2 3 4 5]
print(numpy.square(x)) # [ 0  1  4  9 16 25]
x = numpy.array([1.5,1.6,1.7,1.8])
y,z = numpy.modf(x)
print(y) # [ 0.5  0.6  0.7  0.8]
print(z) # [ 1.  1.  1.  1.]

二元ufunc

代码示例：

import numpy
print('二元ufunc示例')
x = numpy.array([[1,4],[6,7]])
y = numpy.array([[2,3],[5,8]])
print(numpy.maximum(x,y)) # [[2,4],[6,8]]
print(numpy.minimum(x,y)) # [[1,3],[5,7]]

NumPy的where函数使用

np.where(condition, x, y)，第一个参数为一个布尔数组，第二个参数和第三个参数可以是标量也可以是数组。

代码示例：

import numpy
print('where函数的使用')
cond = numpy.array([True,False,True,False])
x = numpy.where(cond,-2,2)
print(x) # [-2  2 -2  2]
cond = numpy.array([1,2,3,4])
x = numpy.where(cond>2,-2,2)
print(x) # [ 2  2 -2 -2]
y1 = numpy.array([-1,-2,-3,-4])
y2 = numpy.array([1,2,3,4])
x = numpy.where(cond>2,y1,y2) # 长度须匹配
print(x) # [1,2,-3,-4]

print('where函数的嵌套使用')
y1 = numpy.array([-1,-2,-3,-4,-5,-6])
y2 = numpy.array([1,2,3,4,5,6])
y3 = numpy.zeros(6)
cond = numpy.array([1,2,3,4,5,6])
x = numpy.where(cond>5,y3,numpy.where(cond>2,y1,y2))
print(x) # [ 1.  2. -3. -4. -5.  0.]

常用统计函数

函数	说明
sum	计算数组的和
mean	计算数组均值
std	计算数组标准差
var	计算数组方差
min	计算数组最小值
max	计算数组最大值
argmin	返回数组最小元素的索引
argmax	返回数组最大元素的索引
cumsum	计算所有元素的累计和
cumprod	计算所有元素的累计积

代码示例：

import numpy
print('numpy的基本统计方法')
x = numpy.array([[1,2],[3,3],[1,2]]) #同一维度上的数组长度须一致
print (x.mean()) # 2
print (x.mean(axis=1)) # 对每一行的元素求平均
print (x.mean(axis=0)) # 对每一列的元素求平均
print (x.sum()) #同理 12
print (x.sum(axis=1)) # [3 6 3]
print (x.max()) # 3
print (x.max(axis=1)) # [2 3 2]
print (x.cumsum()) # [ 1  3  6  9 10 12]
print (x.cumprod()) # [ 1  2  6 18 18 36]

用于布尔数组的统计方法：

• sum : 统计数组/数组某一维度中的True的个数
• any： 统计数组/数组某一维度中是否存在一个/多个True
• all：统计数组/数组某一维度中是否都是True

代码示例：

import numpy
print('用于布尔数组的统计方法')
x = numpy.array([[True,False],[True,False]])
print(x.sum()) # 2
print(x.sum(axis=1)) # [1,1]
print(x.any(axis=0)) # [True,False]
print(x.all(axis=1)) # [False,False]

排序

arr.sort()

sort函数也可以指定一个axis参数，使得sort函数可以沿着指定轴对数据集进行排序。

axis=1为沿横轴排序；axis=0为沿纵轴排序

sorted(arr)

sorted 并没有修改原来的数组，而是将排序的结果作为参数传递给一个新的数组，而 sort 则在原数组上直接进行了排序

ndarray数组的去重以及集合运算

方法	说明
unique(x)	计算x中的唯一元素，并返回有序结果
intersect1d(x,y)	计算x和y中的公共元素，并返回有序结果
union1d(x,y)	计算x和y的并集，并返回有序结果
in1d(x,y)	得到一个表示"x的元素是否包含于y"的布尔型数组
setdiff1d(x,y)	集合的差，即元素在x中且不在y中
setxor1d(x,y)	集合的对称差，即存在一个数组中但不同时存在两个数组中的元素

代码示例：

import numpy
print('ndarray的唯一化和集合运算')
x = numpy.array([[1,6,2],[6,1,3],[1,5,2]])
print(numpy.unique(x)) # [1,2,3,5,6]
y = numpy.array([1,6,5])
print(numpy.in1d(x,y)) # [ True  True False  True  True False  True  True False]
print(numpy.setdiff1d(x,y)) # [2 3]
print(numpy.intersect1d(x,y)) # [1 5 6]

numpy中的线性代数

创建与组合矩阵

使用mat函数创建矩阵：matr1 = numpy.mat("1 2 3;4 5 6;7 8 9")

使用matrix函数创建矩阵：matr2 = numpy.matrix([[1,2,3],[4,5,6],[7,8,9]])

使用bmat函数合成矩阵：matr3 = numpy.bmat("matr1 matr2; matr1 matr2")

矩阵的运算

矩阵与数相乘：matr1*3

矩阵相加减：matr1+matr2 matr1-matr2

矩阵相乘：matr1*matr2

矩阵对应元素相乘：numpy.multiply(matr1,matr2)

矩阵特有属性

属性	说明
T	返回自身的转置
H	返回自身的共轭转置
I	返回自身的逆矩阵
A	返回自身数据的2维数组的一个视图

import numpy.linalg

函数	说明
diag	以一维数组的形式返回方阵的对角线(或非对角线)元素，或将一维数组转换为方阵(非对角线元素为0)
dot	矩阵乘法
trace	计算对角线元素的和
det	计算矩阵行列式
eig	计算方阵的本征值和本征向量
inv	计算方阵的逆
pinv	计算矩阵的Moore-Penrose伪逆
qr	计算QR分解
svd	计算奇异值分解(SVD)
solve	解线性方程组Ax=b，其中A为一个方阵
lstsq	计算Ax=b的最小二乘解

代码示例：

import numpy
import numpy.linalg as nla
print('线性代数')
print('矩阵点乘')
x = numpy.array([[1,2],[3,4]])
y = numpy.array([[1,3],[2,4]])
print(x.dot(y)) # [[ 5 11][11 25]]
print(numpy.dot(x,y)) # # [[ 5 11][11 25]]
print('矩阵求逆')
x = numpy.array([[1,1],[1,2]])
y = nla.inv(x) # 矩阵求逆（若矩阵的逆存在）
print(x.dot(y)) # 单位矩阵 [[ 1.  0.][ 0.  1.]]
print(nla.det(x)) # 求行列式

numpy中的随机数生成

import numpy.random

函数	说明
seed	确定随机数生成器的种子
permutation	返回一个序列的随机排列或返回一个随机排列的范围
shuffle	对一个序列就地随机排列
rand	产生均匀分布的样本值
randint	从给定的上下限范围内随机选取整数
randn	产生正态分布(平均值为0，标准差为1)的样本值，类似于MATLAB接口
binomial	产生二项分布的样本值
normal	产生正态(高斯)分布的样本值
beta	产生Beta分布的样本值
chisquare	产生卡方分布的样本值
gamma	产生Gamma分布的样本值
uniform	产生在[0,1)中均匀分布的样本值

代码示例：

# 无约束条件下生成随机数
print(numpy.random.random(100))
# 生成服从均匀分布的随机数
print(numpy.random.rand(10,5))

ndarray数组重塑

import numpy
print('ndarray数组重塑')
x = numpy.arange(0,6) #[0 1 2 3 4]
print(x) #[0 1 2 3 4]
print(x.reshape((2,3))) # [[0 1 2][3 4 5]]
print(x) #[0 1 2 3 4]
print(x.reshape((2,3)).reshape((3,2))) # [[0 1][2 3][4 5]]
y = numpy.array([[1,1,1],[1,1,1]])
x = x.reshape(y.shape)
print(x) # [[0 1 2][3 4 5]]
print(x.flatten()) # [0 1 2 3 4 5]
x.flatten()[0] = -1 # flatten返回的是拷贝
print(x) # [[0 1 2][3 4 5]]
print(x.ravel()) # [0 1 2 3 4 5]
x.ravel()[0] = -1 # ravel返回的是视图（引用）
print(x) # [[-1 1 2][3 4 5]]
print("维度大小自动推导")
arr = numpy.arange(15)
print(arr.reshape((5, -1))) # 15 / 5 = 3

ndarray数组的拆分与合并

类型	说明
concatenate	最一般化的连接，沿一条轴连接一组数组
vstack,row_stack	以面向行的方式对数组进行堆叠(沿轴0)
hstack	以面向行的方式对数组进行堆叠(沿轴1)
column_stack	类似于hstack，但是会先将一维数组转换为二维列向量
dstack	以面向“深度”的方式对数组进行堆叠(沿轴2)
split	沿指定轴在指定的位置拆分数组
hsplit, vsplit, dsplit	split的便捷化函数，分别沿着轴0、轴1和轴2进行拆分

代码示例：

import numpy
print('数组的合并与拆分')
x = numpy.array([[1, 2, 3], [4, 5, 6]])
y = numpy.array([[7, 8, 9], [10, 11, 12]])
print(numpy.concatenate([x, y], axis = 0))
# 竖直组合 [[ 1  2  3][ 4  5  6][ 7  8  9][10 11 12]]
print(numpy.concatenate([x, y], axis = 1))
# 水平组合 [[ 1  2  3  7  8  9][ 4  5  6 10 11 12]]
print('垂直stack与水平stack')
print(numpy.vstack((x, y))) # 垂直堆叠:相对于垂直组合
print(numpy.hstack((x, y))) # 水平堆叠：相对于水平组合
# dstack：按深度堆叠
print(numpy.split(x,2,axis=0))
# 按行分割 [array([[1, 2, 3]]), array([[4, 5, 6]])]
print(numpy.split(x,3,axis=1))
# 按列分割 [array([[1],[4]]), array([[2],[5]]), array([[3],[6]])]

# 堆叠辅助类
import numpy as np
arr = np.arange(6)
arr1 = arr.reshape((3, 2))
arr2 = np.random.randn(3, 2)
print('r_用于按行堆叠')
print(np.r_[arr1, arr2])
print('c_用于按列堆叠')
print(np.c_[np.r_[arr1, arr2], arr])
print('切片直接转为数组')
print(np.c_[1:6, -10:-5])

数组的元素重复操作

import numpy
print('数组的元素重复操作')
x = numpy.array([[1,2],[3,4]])
print(x.repeat(2)) # 按元素重复 [1 1 2 2 3 3 4 4]
print(x.repeat(2,axis=0)) # 按行重复 [[1 2][1 2][3 4][3 4]]
print(x.repeat(2,axis=1)) # 按列重复 [[1 1 2 2][3 3 4 4]]
x = numpy.array([1,2])
print(numpy.tile(x,2)) # tile瓦片：[1 2 1 2]
print(numpy.tile(x, (2, 2)))  # 指定从低维到高维依次复制的次数。
# [[1 2 1 2][1 2 1 2]]

参考博文：https://blog.csdn.net/cxmscb/article/details/54583415