瓜书学习之路（一）

最新推荐文章于 2023-09-10 19:54:03 发布

想上树的蟑螂

最新推荐文章于 2023-09-10 19:54:03 发布

阅读量232

点赞数 1

文章标签：机器学习

本文链接：https://blog.csdn.net/qq_27410741/article/details/109393452

版权

瓜书学习之路（一）

第一篇，字丑了点，自己将就着看。

一元线性回归公式推导

求解偏置b的公式推导

推导思路：
    1.最小二乘法计算出损失函数E(w, b)
    2.证明损失函数是关于w和b的凸函数(国内是凹函数)
    （凹凸函数的定义与国内相反）
    3.对损失函数E(w, b)关于b求一阶偏导数
    4.令一阶偏导数为0求出b
    最小二乘法，二乘指的是平方

推导过程：
    1.求E(w, b)

最小二乘法求E(w, b)
2.凸函数
根据二阶连续偏导，判断凹凸性。
求二阶偏导判断凹凸性 1

    3.求w, b

    4. 向量化

多元线性回归公式推导

求解权重w的公式推导

推导思路：
    1. 由最小二乘法得出损失函数Ew
    2. 证明损失函数Ew是关于W的凸函数
    3. 对损失函数Ew关于w求一阶导数
    4. 令一阶导数等于0 求出w


    凸集定义：集合D属于R^n,对于任意的X，Y属于D与任意的a属于[0, 1],有aX + (1 - a)Y属于D，则称集合D是凸集



    凸集集合意义：若两个点属于此集合，则两点连线上的任意一点均属于该集合

    梯度定义

梯度定义
Hessian矩阵定义

多元实值函数凹凸性判定定理
在这里插入图片描述
过程

对数几率回归

广义线性模型

1. 指数族分布
    指数族分布形如
     
2. 广义线性模型的三条假设

    1. 在给定X的条件下，假设随机变量Y服从某个指数族分布
    2. 在给定X的条件下。我们的目标得到一个模型h(x)能预测出T(y)的期望值
    3. 假设该指数族分布中的自然参数η和X呈线性关系，即η = W的转置与X的乘积