第7章 PCA与梯度上升法学习笔记上

天人合一peng

于 2020-06-05 17:33:17 发布

阅读量314

点赞数 1

分类专栏：机器学习/深度学习/人工智能/情感计算

本文链接：https://blog.csdn.net/moonlightpeng/article/details/106572727

版权

机器学习/深度学习/人工智能/情感计算专栏收录该内容

222 篇文章 17 订阅

订阅专栏

7-1 什么是PCA

降维后

同理去掉特征一，降维则为

那个方案更好呢，右边的，在x轴上点集间距离大，有更好的区分度

将点映射到这条斜线上，数据点变为，其整体与原来变化不大，从二维降到了一维，这时无论是映射到xy上间距大好

方差样本的疏密

所有的样本减去整体样本的均值

dmean后式子化简为这样

X是向量，demean后为零

w是单位方向向量

主成分分析法有很强的数学原理

横纵坐标是两个特征，与线垂直，不同于线性回归，

横特征纵是标记，与坐标垂直

7-2 使用梯度上升法求解PCA问题

X是非监督学习提供的样本，没有标记y

整理式子，不用for循环，通过向量的运算计算

1Xm, mXn == 1Xn 需要nx1的梯度，将上式转置相清楚谁是矩阵谁是向量，如果是矩阵是多少乘多少的

7-3 求数据的主成分PCA

demean

梯度上升法

def f(w, X):
    return np.sum((X.dot(w)**2)) / len(X)

def df_math(w, X):
    return X.T.dot(X.dot(w)) * 2. / len(X)

def df_debug(w, X, epsilon=0.0001):
    res = np.empty(len(w))
    for i in range(len(w)):
        w_1 = w.copy()
        w_1[i] += epsilon
        w_2 = w.copy()
        w_2[i] -= epsilon
        res[i] = (f(w_1, X) - f(w_2, X)) / (2 * epsilon)
    return res

def direction(w):
    return w / np.linalg.norm(w)

def gradient_ascent(df, X, initial_w, eta, n_iters = 1e4, epsilon=1e-8):
    
    w = direction(initial_w) 
    cur_iter = 0

    while cur_iter < n_iters:
        gradient = df(w, X)
        last_w = w
        w = w + eta * gradient
        w = direction(w) # 注意1：每次求一个单位方向
        if(abs(f(w, X) - f(last_w, X)) < epsilon):
            break
            
        cur_iter += 1

    return w

w单位化处理，

初始的搜索不能为零