常见模型的推导与实现

最新推荐文章于 2024-10-12 14:08:09 发布

Faeryknight

最新推荐文章于 2024-10-12 14:08:09 发布

阅读量1.6k

点赞数 1

分类专栏：机器学习

本文链接：https://blog.csdn.net/weixin_41994280/article/details/100516937

版权

本文涵盖了线性回归、逻辑回归、朴素贝叶斯、BP神经网络、K-近邻算法、K-means等常见机器学习模型的原理、损失函数、优化方法以及Python实现。同时介绍了pytorch和Keras的基本框架应用。

摘要由CSDN通过智能技术生成

线性回归（Linear）

$h_\theta(x)=\theta^Tx=\theta_0x_0+\theta_1x_1+\theta_2x_2+...+\theta_nx_n$

损失函数(平方损失函数)： $J(\theta_0,\theta_1,...,\theta_n)=\frac{1}{2m}\sum_{i=1}^{m}(h_\theta(x^{(i)})-y^{(i)})^2$

梯度下降更新参数： $\theta_j=\theta_j-\alpha\frac{1}{m}\sum_{i=1}^{m}(h_\theta(x^{(i)})-y^{(i)})·x_j^{(i)}$

添加正则化的损失函数： $J(\theta_0,\theta_1,...,\theta_n)=\frac{1}{2m}\sum_{i=1}^{m}(h_\theta(x^{(i)})-y^{(i)})^2+\frac{\lambda}{2m}\sum_{j=1}^{n}\theta_j^2$

python实现：

def grad_descent(dataMatIn, classLabels):
    dataMatrix = np.mat(dataMatIn)
    labelMat = np.mat(classLabels).transpose()
    n, m = np.shape(dataMatrix)
    weights = np.ones((m, 1)) #(m, 1)
    alpha = 0.001
    maxCycle = 500

    for i in range(maxCycle):
        h = dataMatrix * weights
        weights = weights - alpha * dataMatrix.transpose() * (h - labelMat)

    return weights