《机器学习》前五章笔记（包括拉格朗日乘子法）

最新推荐文章于 2024-05-03 11:52:45 发布

VIP文章 xiaoyisha

最新推荐文章于 2024-05-03 11:52:45 发布

阅读量546

点赞数

分类专栏： AI 文章标签：机器学习

本文链接：https://blog.csdn.net/xiaoyisha/article/details/88763801

版权

3.2 线性回归
一元线性回归
可以利用将凸函数对两个变量的偏导数赋值为0求得w和b的值
多元线性回归
- 经常有X不是满秩或正定的情况，此时可以考虑正则化
广义线性模型
$y = g^{-1}\left ( w^{T}x+b \right )$
- 例如 $lny = w^{T}x+b$

3.3 对数几率回归
- 考虑二分类任务，可以通过“单位阶跃函数”将实值与分类标签联系起来
- 但是由于“单位阶跃函数”不连续，所以不能直接用于 $g^{-1}$ ，因此可以用对数几率函数（logistic function）来替代：
$y = \frac{1}{1+e^{-x}}$
- 对数几率函数是一种Sigmoid函数（即形似S的函数），且是其中最重要的代表。
- 将对数几率函数作为 $g^{-1}$ 可得

$y = \frac{1}{1+e^{-\left(w^{T}x+b \right)}}$ ，进一步可得 $ln \frac{y}{1-y} = w^{T}x+b$ ，可以将y和1-y分别看做是正例和负例的可能性

3.4 线性判别分析
- 思路：将训练样例投影到一条直线上，使得同类样本尽可能近，不同样本之间尽可能远。

4.1 决策树
4.2 划分选择
- 信息增益
“信息熵”(information entropy)是度量样本集合纯度最常用的一种指标。假定当前样本集合D中第k类样本所占的比例为 $p_{k}(k=1,2,...,\left | y \right|)$ ,则D的信息熵定义为：

$Ent(D) = -\sum^{\left | y \right |}_{k=1}p_{k}log_{2}p_{k}$
假定离散属性a有V个可能的取值，则属性a对样本集D进行划分所获得的“信息增益”(information gain)为：

最低0.47元/天解锁文章

xiaoyisha

关注

0
点赞
踩
1

收藏

觉得还不错? 一键收藏
0
评论
《机器学习》前五章笔记（包括拉格朗日乘子法）

3.2 线性回归一元线性回归可以利用将凸函数对两个变量的偏导数赋值为0求得w和b的值多元线性回归- 经常有X不是满秩或正定的情况，此时可以考虑正则化广义线性模型- 例如 3.3 对数几率回归- 考虑二分类任务，可以通过“单位阶跃函数”将实值与分类标签联系起来- 但是由于“单位阶跃函数”不连续，所以不能直接用于，因此可以用对数几率函数（logistic function）来替代：- 对...
复制链接

扫一扫