线性分类基础(2)

2. Softmax回归

用于多分类任务，同属线性分类器。

2.1 公式合理性推导

该回归属于多项式分布，即伯努利分布的多项式形式，所以也是可以建立广义线性回归的指数族分布的模型，首先回顾一下该模型:
$$\begin{gathered} p\left(y;\eta \right)=b\left(y\right)\exp \left({\eta }^{T}T\left(y\right)-a\left(\eta \right)\right) \\ \eta \text{是}\text{自然参数(我们要求解的模型)，}T\left(y\right)\text{是}\text{充分统计量}\left(\text{一般就为}y\right) \\ a\left(\eta \right)\text{是}\text{对数部分函数}\left(\text{确保分布的连续函数积分为}1\right) \end{gathered}$$
然后我们看一下如何将 多项式分布 挂接到模型上：

1. 多项式分布的目标值 y ∈{1，2，3，…，k}，k为类别数；
2. 概率分布为：
   $$\mathbf{P}\left(\mathbf{y}=\mathbf{i}\right)={\mathbf{\phi }}_{\mathbf{i}},\mathbf{且}\sum _{\mathbf{i}=1}^{\mathbf{k}}{\mathbf{\phi }}_{\mathbf{i}}=1$$
3. 由联合概率密度函数 推导 至 指数族分布
   $$\begin{gathered} P\left(y;\phi \right)={\phi }_1^{I\left[y=1\right]}{\phi }_2^{I\left[y=2\right]}...{\phi }_k^{I\left[y=k\right]} \\ ={\phi }_1^{I\left[y=1\right]}{\phi }_2^{I\left[y=2\right]}...{\phi }_k^{1-{\sum }_{i=1}^{k-1}I\left[y=i\right]} \\ =\exp \left(\log \left({\phi }_1^{I\left[y=1\right]}{\phi }_2^{I\left[y=2\right]}...{\phi }_k^{1-{\sum }_{i=1}^{k-1}I\left[y=i\right]}\right)\right) \\ =\exp \left(\sum _{i=1}^{k-1}I\left(y=i\right)\log {\phi }_i+\left(1-\sum _{i=1}^{k-1}I\left(y=i\right)\log {\phi }_k\right)\right) \\ =\exp \left(\sum _{i=1}^{k-1}I\left(y=i\right)\log \left(\frac{{\phi }_i}{{\phi }_k}\right)+\log {\phi }_k\right) \end{gathered}$$
   则可以看出
   $$\eta =\sum _{i=1}^{k-1}\log \left(\frac{{\phi }_i}{{\phi }_k}\right)$$
   则继续求
   $${\phi }_i={\phi }_k{e}^{{\eta }_i}$$
   $$\sum _{i=1}^k{\phi }_i=\sum _{i=1}^k{\phi }_k{e}^{{\eta }_i}=1,{\phi }_k=\frac{1}{{\sum }_{i=1}^k{e}^{{\eta }_i}}$$
   $${\phi }_i=\frac{e^{{\eta }_i}}{{\sum }_{i=1}^k{e}^{{\eta }_i}}$$
   由于 η 还有 η = θx，
   所以到此我们就得到了 softmax 的公式:
   $$h_{\theta }\left(x^{\left(i\right)}\right)=\frac{e^{Z_i}}{{\sum }_{i=1}^k{e}^{Z_i}}$$
   $$Z_i={\theta }_i^T{x}^{\left(i\right)}$$

2.2 损失函数

同样采用最大似然MLE的思想,需要确保条件下的概率最大，且公式为：
L ( θ )    =    ∏ i = 1 m P ( y i ∣ x i ; θ )    =    ∏ i = 1 m ∏ j = 1 k φ j I { y i    =    j } L\left( \theta \right) \,\,=\,\,\prod_{i=1}^m{P\left( y^i|x^i;\theta \right)}\,\,=\,\,\prod_{i=1}^m{\prod_{j=1}^k{\varphi _{j}^{I\left\{ y^i\,\,=\,\,j \right\}}}} L(θ)=i=1∏m​P(yi∣xi;θ)=i=1∏m​j=1∏k​φjI{yi=j}​

再取对数得:
$$l\left(\theta \right)=\sum _{i=1}^m\log P\left(y^i|x^i;\theta \right)=\sum _{i=1}^m\log \prod _{j=1}^k{\hat{y}}_j^i$$

最后损失最小取负数，推导至损失函数:
$$J\left(\theta \right)=-\frac{1}{m}\left[\sum _{i=1}^m\sum _{j=1}^k{y}_j^i\log {\hat{y}}_j^i\right]$$
这里也可以看到 当 种类 k=2时, 也可以得到逻辑回归的损失函数：
$$J\left(\theta \right)=-\frac{1}{m}\sum _{i=1}^m\left[y_1\log \frac{e^{Z_1}}{e^{Z_1}+e^{Z_2}}+y_2\log \frac{e^{Z_2}}{e^{Z_1}+e^{Z_2}}\right]$$
$$y_2=1-y_1,\text{分子分母同时除以分子}$$
$$J\left(\theta \right)=-\frac{1}{m}\sum _{i=1}^m\left[y_1\log \frac{1}{1+e^{Z_2-Z_1}}+\left(1-y_1\right)\log \frac{1}{1+e^{Z_1-Z_2}}\right]$$
进一步可以得出 θ = θ2 - θ1

2.3 逻辑回归与Softmax回归的区别

两张图应该就可以了

逻辑回归，几维特征就几维参数，如3维特征，则除bias外，W也是{w1, w2, w3}。

Sotfmax回归，每个类别都对应几维特征,如 5维特征， 3类别，则除bias外，W为 3 X 5 = 15 维。

2.4 音乐分类器代码实现

2.4.1 数据预处理（傅里叶变换）

对每种音乐的前100首进行傅里叶变换，并保存特征

import numpy as np
from scipy import fft
from scipy.io import wavfile
import matplotlib.pyplot as plt


def load_music_data(type, num):
    # 加载数据
    sample_rate, X = wavfile.read('../../data/practice/genres/' + type + '/converted/' + type + '.' + str(num).zfill(5) + '.au.wav')
    print(sample_rate, X.shape)  # 采样率(多少波点/s), 波形
    fft_features = FFT(sample_rate, X)
    np.save('../../data/practice/genres/fft/' + type + '.' + str(num).zfill(5) + '.fft', fft_features)


def FFT(rate, X):
    # 频域显示
    plt.plot(abs(fft.fft(X, rate)))
    plt.xlabel('frequency')
    plt.ylabel('amplitude')
    plt.title('FFT of music')
    # 太高频 对人来说不是音乐
    return abs(fft.fft(X, rate)[:1000])


if __name__ == '__main__':
    # 傅里叶变换
    genre_list = ['classical', 'jazz', 'country', 'pop', 'rock', 'metal']
    for g in genre_list:
        for n in range(100):
            load_music_data(g, n)

2.4.2 训练与预测

训练并保存模型

import numpy as np
from sklearn.linear_model import LogisticRegression
import pickle


def load_music_data():
    """
        读取傅里叶变换后的数据
    :return: 数据 X 以及 标签 y
    """
    # 加载数据
    X, y = [], []
    genre_list = ['classical', 'jazz', 'country', 'pop', 'rock', 'metal']
    for g in genre_list:
        for n in range(100):
            fft_features = np.load('../../data/practice/genres/fft/' + g + '.' + str(n).zfill(5) + '.fft.npy')
            X.append(fft_features)
            y.append(genre_list.index(g))
    return np.array(X), np.array(y)


if __name__ == '__main__':
    # 读取傅里叶变换
    X, y = load_music_data()
    # 训练并保存
    model = LogisticRegression(multi_class='multinomial', solver='sag', max_iter=10000)
    model.fit(X, y)

    output = open('model.pkl', 'wb')
    pickle.dump(model, output)
    output.close()
    

导入模型并预测

from pprint import pprint
from scipy.fft import fft
import numpy as np
from scipy.io import wavfile
import pickle


if __name__ == '__main__':
    pkl_file = open('model.pkl', 'rb')
    model = pickle.load(pkl_file)
    pprint(model)
    pkl_file.close()

    print('Starting read wavfile...')
    music_name = 'Sound Of Silence(From The Graduate)_Various Artists_128K.wav'
    sample, X = wavfile.read('D:/Desktop/Videos/' + music_name)
    test_fft_features = abs(fft(X)[:1000])

    temp = model.predict(test_fft_features)
    print(temp)