AI作业2-监督学习

最新推荐文章于 2024-07-17 21:40:42 发布

MoonCatTop

最新推荐文章于 2024-07-17 21:40:42 发布

阅读量71

点赞数 1

文章标签：人工智能学习机器学习 Powered by 金山文档

本文链接：https://blog.csdn.net/2301_76665413/article/details/129655707

版权

查找相关资料，用自己的语言，解释以下概念

1 结构风险最小化

结构风险最小化（structural minimization, SRM）是为了防止过拟合提出的策略。结构风险最小化等价于正则化（regularization）。结构风险在经验风险上加上表示模型复杂度的正则化项（regularizer）或罚项（penalty term）。

2 正则化

给损失函数加上一些限制，通过这种规则去规范他们再接下来的循环迭代中，不要自我膨胀。

3 线性回归

线性回归在数学上的表现可以是：y = wx + b、y = w1x1 + w2x2 + b、

y = w1x1 + w2x2 + w3x3+b…。总结来说，它是一种研究自变量和因变量的关系，是指一种预测性的建模技术。而自变量和因变量的关系简单来说就是要你求出上述公式里的参数w1、w2、w3、b等

4 逻辑斯蒂回归

逻辑回归假设数据服从伯努利分布,通过极大化似然函数的方法，运用梯度下降来求解参数，来达到将数据二分类的目的。

5 Sigmoid 与 SoftMax 函数

在数学上，softmax函数又称归一化指数函数，是逻辑函数的一种推广。它能将一个喊任意实数的k维的向量z的“压缩”到两一个k维向量σ(z) 中，使得每一个元素的范围都在（0, 1)之间，并且所有元素和为1。

softmax函数的使用

用于多重分类逻辑回归模型。

在构建神经网络时，在不同的层使用softmax函数；softmax在神经网络中是作为一个全连接层出现的，功能是将网络计算后的结果映射到(0, 1)区间，给出每种分类的概率。

sigmoid函数是一个生物学上常见的S型函数，也称为S型生长曲线。在sigmoid函数常被用作神经网络的阈值函数，将变量映射到0,1之间。

sigmoid函数的使用

Sigmoid函数用于逻辑回归模型中的二进制分类。

6 决策树

决策树(Decision Tree）是在已知各种情况发生概率的基础上，通过构成决策树来求取净现值的期望值大于等于零的概率，评价项目风险，判断其可行性的决策分析方法，是直观运用概率分析的一种图解法。由于这种决策分支画成图形很像一棵树的枝干，故称决策树。

7 信息熵条件熵信息增益

信息熵是度量离散随机变量的不确定性的指标。不确定性越大，信息熵的值越大。

条件熵是在随机变量X给定的条件下，Y的条件概率的熵对X的期望。

信息增益代表了给定一个变量的条件下，原始变量不确定性的减小程度。也就是说，信息增益=信息熵-条件熵。

8 线性判别分析 LDA

线性判别式分析(Linear Discriminant Analysis, LDA)，也叫做Fisher线性判别(Fisher Linear Discriminant ,FLD)，是模式识别的经典算法，它是在1996年由Belhumeur引入模式识别和人工智能领域的。性鉴别分析的基本思想是将高维的模式样本投影到最佳鉴别矢量空间，以达到抽取分类信息和压缩特征空间维数的效果，投影后保证模式样本在新的子空间有最大的类间距离和最小的类内距离，即模式在该空间中有最佳的可分离性。因此，它是一种有效的特征抽取方法。LDA是一种有监督的算法。