数据标准化（归一化）

最新推荐文章于 2024-08-23 10:00:00 发布

Spikeeee-

最新推荐文章于 2024-08-23 10:00:00 发布

阅读量724

点赞数 2

分类专栏：机器学习文章标签：机器学习

本文链接：https://blog.csdn.net/weixin_45919985/article/details/120050916

版权

机器学习专栏收录该内容

14 篇文章 1 订阅

订阅专栏

本文详细介绍了数据挖掘中常用的数据标准化技术，包括min-max标准化（将数据缩放至0-1范围）和Z-score标准化（均值为0，标准差为1），并提供了Python实现代码。这两种方法有助于解决不同指标间的量纲问题，提升数据分析的可比性。

摘要由CSDN通过智能技术生成

数据标准化（归一化）处理是数据挖掘的一项基础工作，不同评价指标往往具有不同的量纲和量纲单位，这样的情况会影响到数据分析的结果，为了消除指标之间的量纲影响，需要进行数据标准化处理，以解决数据指标之间的可比性。原始数据经过数据标准化处理后，各指标处于同一数量级，适合进行综合对比评价。以下是两种常用的归一化方法：

一、min-max标准化（Min-Max Normalization）

也称为离差标准化，是对原始数据的线性变换，使结果值映射到[0 - 1]之间。转换函数如下：
在这里插入图片描述
其中max为样本数据的最大值，min为样本数据的最小值。这种方法有个缺陷就是当有新数据加入时，可能导致max和min的变化，需要重新定义。

def MinMax(inputs):
    # 归一化输入,输出
    _inputs = np.array(inputs).T
    for i in range(np.shape(_inputs)[0]):
        mi = _inputs[i].min()
        ma = _inputs[i].max()
        for j in range(np.shape(_inputs[i])[0]):
            _inputs[i][j] = (_inputs[i][j]-mi)/(ma-mi)
    _inputs = _inputs.T
    return _inputs

二、Z-score标准化方法

这种方法给予原始数据的均值（mean）和标准差（standard deviation）进行数据的标准化。经过处理的数据符合标准正态分布，即均值为0，标准差为1，转化函数为：
在这里插入图片描述
其中 μ为所有样本数据的均值，σ为所有样本数据的标准差。

def Zscore(inputs):
    # 归一化输入,输出
    _inputs = np.array(inputs).T
    for i in range(np.shape(_inputs)[0]):
        n = np.shape(_inputs)[1]
        avg = _inputs[i].sum()/n
        sd = 0
        for j in range(np.shape(_inputs[i])[0]):
            sd += (_inputs[i][j] - avg)**2
        sd = (sd/(n-1))**0.5
        for j in range(np.shape(_inputs[i])[0]):
            _inputs[i][j] = (_inputs[i][j] - avg)/sd
    _inputs = _inputs.T
    return _inputs