Python打卡 DAY 16

知识点：

1.  numpy数组的创建：简单创建、随机创建、遍历、运算

2.  numpy数组的索引：一维、二维、三维

3.  SHAP值的深入理解

 

NumPy 数组基础笔记

1. 理解数组的维度 (Dimensions)

NumPy 数组的**维度 (Dimension)** 或称为 **轴 (Axis)** 的概念，与我们日常理解的维度非常相似。

直观判断:数组的维度层数通常可以通过打印输出时**中括号 `[]` 的嵌套层数**来初步确定：
一层 `[]`: 一维 (1D)** 数组。
两层 `[]`: 二维 (2D)** 数组。
三层 `[]`: 三维 (3D)** 数组，依此类推。

 2. NumPy 数组与深度学习 Tensor 的关系

在后续进行频繁的数学运算时，尤其是在深度学习领域，对 NumPy 数组的理解非常有帮助，因为 PyTorch 或 TensorFlow 中的 **Tensor** 张量本质上可以视为**支持 GPU 加速**和**自动微分**的 NumPy 数组。掌握 NumPy 的基本操作，能极大地降低学习 Tensor 的门槛。关于 NumPy 更深入的性质，我们留待后续探讨。

3. 一维数组 (1D Array)

一维数组在结构上与 Python 中的列表（List）非常相似。它们的主要区别在于：

打印输出格式:*当使用 `print()` 函数输出时：
NumPy 一维数组的元素之间默认使用**空格**分隔。
Python 列表的元素之间使用**逗号**分隔。

4. 二维数组 (2D Array)

二维数组可以被看作是“数组的数组”或者一个矩阵。其结构由两个主要维度决定：

行数:代表整个二维数组中**包含多少个一维数组**。
列数:代表**每个一维数组（也就是每一行）中包含多少个元素**。

值得注意的是，二维数组**不一定**是正方形（即行数等于列数），它可以是任意的 `n * m` 形状，其中 `n` 是行数，`m` 是列数。

5. 数组的创建

NumPy 的 `array()` 函数非常灵活，可以接受各种“序列型”对象作为输入参数来创建数组。这意味着你可以将 Python 的**列表 (List)**、**元组 (Tuple)**，甚至其他的 NumPy **数组**等数据结构直接传递给 `np.array()` 来创建新的 NumPy 数组。

数组的简单创建

import numpy as np
a = np.array([2,4,6,8,10,12]) # 创建一个一维数组
b = np.array([[2,4,6],[8,10,12]]) # 创建一个二维数组
print(a)
print(b)

# 分清楚列表和数组的区别
print([7, 5, 3, 9])  # 输出: [7, 5, 3, 9]（逗号分隔）
print(np.array([7, 5, 3, 9]))  # 输出: [7 5 3 9]（空格分隔）

zeros = np.zeros((2, 3)) # 创建一个2行3列的全零矩阵
zeros

ones = np.ones((3,))  # 创建一个形状为(3,)的全1数组
ones

# 顺序数组的创建
arange = np.arange(1, 10) # 创建一个从1到10的数组
arange

数组的随机化创建
1. 在后续深度学习中，我们经常需要对数据进行随机化处理，以确保模型的泛化能力。
2. 为了测试很多函数的性能，往往需要随机化生成很多数据。

- 记忆技巧：
1. 看结尾：
   "int" → 整数
   "n" → 正态(normal)
   
2. 看前缀：
   纯"random" → Python基础随机
   "np.random" → NumPy增强版

3. 功能差异：
   `rand()`和`random()`都是均匀分布，但`rand()`能直接生成数组
   `randn()`生成的数据会有正有负，其他方法都是非负数

import numpy as np
np.random.seed(42)  # 设置随机种子以确保结果可重复

# 生成10个语文成绩（正态分布，均值75，标准差10）
chinese_scores = np.random.normal(75, 10, 10).round(1)

# 找出最高分和最低分及其索引
max_score = np.max(chinese_scores)
max_index = np.argmax(chinese_scores)
min_score = np.min(chinese_scores)
min_index = np.argmin(chinese_scores)

print(f"所有成绩: {chinese_scores}")
print(f"最高分: {max_score} (第{max_index}个学生)")
print(f"最低分: {min_score} (第{min_index}个学生)")

 数组的遍历

import numpy as np
scores = np.array([5, 9, 9, 11, 11, 13, 15, 19])
scores += 1 # 学习一下这个写法，等价于 scores = scores + 1
sum = 0
for i in scores: # 遍历数组中的每个元素
    sum += i   
print(sum)

数组的运算

1. 矩阵乘法：需要满足第一个矩阵的列数等于第二个矩阵的行数，和线代的矩阵乘法算法相同。
2. 矩阵点乘：需要满足两个矩阵的行数和列数相同，然后两个矩阵对应位置的元素相乘。
3. 矩阵转置：将矩阵的行和列互换。
4. 矩阵求逆：需要满足矩阵是方阵且行列式不为0，然后使用伴随矩阵除以行列式得到逆矩阵。
5. 矩阵求行列式：需要满足矩阵是方阵，然后使用代数余子式展开计算行列式。

import numpy as np
a = np.array([[1, 2], [3, 4], [5, 6]])
b = np.array([[7, 8], [9, 10], [11, 12]])
print(a)
print(b)

print(a + b) # 计算两个数组的和

print(a - b) # 计算两个数组的差

print(a / b) # 计算两个数组的除法

a * b # 矩阵点乘，ipynb文件中不使用print()函数会自动输出结果，这是ipynb文件的特性

a @ b.T # 矩阵乘法,3*2的矩阵和2*3的矩阵相乘，得到3*3的矩阵

数组的索引

arr1d = np.arange(10)  # 数组: [0 1 2 3 4 5 6 7 8 9]
arr1d

# 1. 取出数组的第一个元素。
arr1d[0]

# 取出数组的最后一个元素。-1表示倒数第一个元素。
arr1d[-1]

# 3. 取出数组中索引为 3, 5, 8 的元素。
# 使用整数数组进行索引，可以一次性取出多个元素。语法是 arr1d[[index1, index2, ...]]。
arr1d[[3, 5, 8]]

# 切片取出索引
arr1d[2:6] # 取出索引为2到5的元素（不包括索引6的元素，取左不取右）

# 取出数组中从头到索引 5 (不包含 5) 的元素。
# 使用切片 slice [:stop]
arr1d[:5]

# 取出数组中从索引 4 到结尾的元素。
# 使用切片 slice [start:]
arr1d[4:]

# 取出全部元素
arr1d[:]

# 7取出数组中所有偶数索引对应的元素 (即索引 0, 2, 4, 6, 8)。
# 使用带步长的切片 slice [start:stop:step]
arr1d[::2]

# 取出第 1 行 (索引为 1) 的所有元素。
#
# 使用索引 arr[row_index, :] 或 arr[row_index]
arr2d[1, :]

# 取出一个 2x2 的子矩阵，包含元素 6, 7, 10, 11。
# 使用切片 slice arr[row_start:row_stop, col_start:col_stop]
arr2d[1:3, 1:3]

# 选择特定的层
# 使用整数数组 [0, 2] 作为第一个维度 (层) 的索引
arr3d[1, :, :]

SHAP值的深入理解

import shap
import matplotlib.pyplot as plt

# 初始化 SHAP 解释器
explainer = shap.TreeExplainer(rf_model)

# 计算 SHAP 值（基于测试集），这个shap_values是一个numpy数组，表示每个特征对每个样本的贡献值
# 这里大家先知道这是个numpy数组即可，我们后面学习完numpy在来回头解读这个值
shap_values = explainer.shap_values(X_test) # 这个计算耗时

shap_values[0,:,:]

# 三个维度
# 第一个维度是样本数
# 第二个维度是特征数
# 第三个维度是类别数
shap_values.shape

# # --- 1. SHAP 特征重要性条形图 (Summary Plot - Bar) ---
# print("--- 1. SHAP 特征重要性条形图 ---")
# shap.summary_plot(shap_values[:, :, 0], X_test, plot_type="bar",show=False)  #  这里的show=False表示不直接显示图形,这样可以继续用plt来修改元素，不然就直接输出了
# plt.title("SHAP Feature Importance (Bar Plot)")
# plt.show()

此时可以理解为什么shap.summary_plot中第一个参数是所有样本对预测类别的shap值了。

传入的 SHAP 值 (shap_values[:, :, 0]) 和特征数据 (X_test) 在维度上需要高度一致和对应。

- shap_values[:, :, 0] 的每一行代表的是 一个特定样本每个特征对于预测类别的贡献值（SHAP 值）。缺乏特征本身的值
- X_test 的每一行代表的也是同一个特定样本的特征值。

这二者组合后，就可以组合（特征数，特征值，shap值）构成shap图的基本元素。