2025五一杯数学建模竞赛B题 矿山数据处理 保姆级教程讲解｜模型讲解

完整内容请看文章最下面的推广群

DS数模-五一数学建模 B题保姆级教程思路分析+代码+数据教学

DS数模-五一数学建模竞赛 B题保姆级教程思路分析 矿山数据处理问题

下面我将以背景介绍、数据集分析、问题分析的步骤来给大家讲解B题的具体思路。

1 背景介绍

矿山监测技术的高速发展催生了海量高维、多源异构数据的产生，这类数据具有高空间分辨率、多时相（时间序列）和多维属性特征，其核心应用场景包括地质特征提取、储量估算、矿区环境监测及安全预警等。然而，数据规模的指数级增长导致存储、传输和计算资源成本激增，同时数据中的噪声、冗余和异构性对后续分析提出了严峻挑战。因此，​数据压缩、降维、去噪及建模技术成为解决矿山数据处理问题的核心手段，需在精度、效率与可解释性之间实现平衡。

难点是：1 压缩与还原的权衡​：降低存储成本的同时需保证还原后的数据质量（如MSE ≤ 0.005），避免关键地质特征丢失。2 噪声与数据质量​：监测数据常受传感器噪声、环境干扰影响，需通过标准化和去噪提升模型稳健性。3 高维数据处理​：矿山数据的高维性（如附件5）要求降维方法（如PCA、t-SNE、自编码器）在保留主要特征的前提下降低计算复杂度。4 模型泛化与解释性​：需设计自适应的参数调整算法（如问题4）以应对动态监测需求，并确保重构模型（如问题5）的可解释性。

所有问题均需先进行数据清洗（缺失值处理、异常值剔除）、标准化（归一化或Z-score）及噪声分析。

2 数据集分析

数据预处理步骤​：

1. ​读取数据并检查结构​
2. ​处理缺失值​
3. ​检测并处理异常值​
4. ​数据标准化（可选）​​
5. ​保存预处理结果​

具体操作和Python代码如下：

1. 数据读取​：将Excel文件读取为DataFrame，若无列名则命名为value。
2. ​数据概览​：输出前5行数据和统计摘要（均值、标准差、分位数等）。
3. ​缺失值检测​：检查是否存在缺失值。
4. ​异常值处理​：

• 通过箱线图可视化异常值。
• 使用IQR方法识别异常值，并将超出范围的值替换为上下界值。

1. ​标准化​：对清洗后的数据进行Z-score标准化，使数据均值为0，标准差为1。
2. ​保存结果​：将处理后的数据保存为CSV文件。
3. ​可视化​：展示处理后的数据分布和标准化结果。

import pandas as pd

import numpy as np

import matplotlib.pyplot as plt

import seaborn as sns

# 1. 读取数据

file_path = 'B.xlsx'

df = pd.read_excel(file_path, sheet_name='Sheet1', header=None, names=['value'])

# 2. 数据概览

print("数据前5行：")

print(df.head())

print("\n数据描述统计：")

print(df.describe())

# 3. 检查缺失值

missing_values = df.isnull().sum()

print(f"\n缺失值数量：{missing_values[0]}")

# 4. 异常值检测（箱线图 + IQR方法）

plt.figure(figsize=(10, 4))

sns.boxplot(x=df['value'])

plt.title('异常值检测箱线图')

plt.show()

Q1 = df['value'].quantile(0.25)

Q3 = df['value'].quantile(0.75)

IQR = Q3 - Q1

lower_bound = Q1 - 1.5 * IQR

upper_bound = Q3 + 1.5 * IQR

outliers = df[(df['value'] < lower_bound) | (df['value'] > upper_bound)]

print(f"\n异常值数量：{len(outliers)}")

# 5. 处理异常值（替换为上下界值）

df_clean = df.copy()

df_clean['value'] = np.where(df_clean['value'] < lower_bound, lower_bound,

np.where(df_clean['value'] > upper_bound, upper_bound, df_clean['value']))

# 6. 数据标准化（Z-score标准化）

df_clean['value_zscore'] = (df_clean['value'] - df_clean['value'].mean()) / df_clean['value'].std()

# 7. 保存处理后数据

df_clean.to_csv('processed_B.csv', index=False)

# 8. 可视化处理后数据分布

plt.figure(figsize=(12, 5))

plt.subplot(1, 2, 1)

sns.histplot(df_clean['value'], kde=True)

plt.title('处理后的数据分布')

plt.subplot(1, 2, 2)

sns.histplot(df_clean['value_zscore'], kde=True)

plt.title('标准化后数据分布')

plt.tight_layout()

plt.show()

可视化选择建议​

• ​探索性分析​：优先使用分布对比图、KDE、CDF。
• ​统计检验​：使用Q-Q图验证分布假设。
• ​时间序列​：滚动均值图 + 自相关图。
• ​异常值分析​：箱线图、小提琴图。

3 问题分析

问题一的分析与建模：

假设问题一需要解决多源矿山数据的空间对齐或坐标转换，例如将不同传感器采集的二维/三维点云数据（如附件1和附件2）通过仿射变换（Affine Transformation）统一到同一坐标系下，并验证转换精度。

建模过程：

推荐算法​

• ​SVD-based仿射变换​：适用于理想点对匹配，计算效率高
• ​RANSAC + SVD​：对异常值鲁棒，适合实际工程场景
• ​ICP（迭代最近点）​​：当点对未明确对应时，迭代优化对齐

import numpy as np

from sklearn.linear_model import RANSACRegressor

from scipy.linalg import svd

def svd_affine_transform(source, target):

"""SVD-based仿射变换参数估计"""

# 去中心化

centroid_source = np.mean(source, axis=0)

centroid_target = np.mean(target, axis=0)

source_centered = source - centroid_source

target_centered = target - centroid_target

# 计算协方差矩阵

H = source_centered.T @ target_centered

# SVD分解

U, S, Vt = svd(H)

R = Vt.T @ U.T

# 反射矩阵处理

if np.linalg.det(R) < 0:

Vt[-1, :] *= -1

R = Vt.T @ U.T

# 计算缩放因子

scale = np.trace(target_centered.T @ R @ source_centered) / np.trace(source_centered.T @ source_centered)

# 计算平移向量

t = centroid_target - scale * R @ centroid_source

return R, scale, t

def ransac_affine(source, target, n_samples=3, max_trials=1000):

"""RANSAC鲁棒仿射变换"""

model = RANSACRegressor(min_samples=n_samples, residual_threshold=0.1, max_trials=max_trials)

model.fit(source, target)

inlier_mask = model.inlier_mask_

# 使用内点重新估计参数

R, scale, t = svd_affine_transform(source[inlier_mask], target[inlier_mask])

return R, scale, t, inlier_mask

# 示例数据

source_points = np.random.rand(100, 3) # 模拟源点云

R_true = np.array([[0.96, -0.28, 0], [0.28, 0.96, 0], [0, 0, 1]]) # 真实旋转矩阵

scale_true = 1.5

t_true = np.array([2, -1, 0])

target_points = (R_true @ (scale_true * source_points.T)).T + t_true # 生成目标点云

# 添加噪声和异常值

target_points += np.random.normal(0, 0.05, target_points.shape) # 高斯噪声

target_points[::10] += np.random.uniform(-5, 5, (10, 3)) # 10%异常值

# 参数估计

R_est, scale_est, t_est, inliers = ransac_affine(source_points, target_points)

# 验证误差

transformed_points = (R_est @ (scale_est * source_points.T)).T + t_est

mse = np.mean(np.linalg.norm(target_points - transformed_points, axis=1)​**2)

print(f"MSE: {mse:.6f}, 缩放因子: {scale_est:.3f}, 旋转矩阵:\n{R_est}")

问题一的建模核心在于通过几何变换实现多源数据的空间对齐。SVD和RANSAC的组合方法在保证精度的同时提升了鲁棒性，代码示例展示了从理论到实践的完整链路，适用于矿山监测中的传感器数据融合场景。后续代码等持续更新

其中更详细的思路，各题目思路、代码、讲解视频、成品论文及其他相关内容，可以点击下方群名片哦！