![](https://img-blog.csdnimg.cn/20201014180756926.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
【机器学习】鲁伟机器学习公式推导与代码实现
文章平均质量分 76
hellenionia
github同名
展开
-
【第八章】神经网络
神经网络训练的最基本的思想就是:先“猜”一个结果,称为预测结果 y_hat,看看这个预测结果和事先标记好的训练集中的真实结果 y_true 之间的差距,然后调整策略,再试一次,这一次就不是“猜”了,而是有依据地向正确的方向靠近。隐藏层数量指的是神经网络中隐藏层的数量,即在输入层和输出层之间的中间层的数量。具体来说,神经网络会根据输入数据以及其对应的标签,计算出每个神经元的输出值,然后根据损失函数来评估网络的预测结果和真实结果的差距,最后利用反向传播算法来更新权重以降低损失函数值,进而优化整个神经网络模型。原创 2023-08-04 18:05:57 · 139 阅读 · 0 评论 -
【第六章】KNN
k近邻法的输入为实例的特征向量对应于特征空间的点;分类时,对新的实例,根据其k个最近邻的训练实例的类别,通过多数表决等方式进行预测。“学习”的近似误差会减小,但“学习”的估计误差会增大,噪声敏感 K值的减小就意味着整体模型变得复杂,容易发生过拟合.k 近邻法中的分类决策规则往往是多数表决,即由待分类样本的 k 个邻近分类样本中的多数类决定它的类。减少学习的估计误差,但缺点是学习的近似误差会增大. K值的增大就意味着整体的模型变得简单.决策函数的选择:用于分类的多票表决法、用于回归的平均值法。原创 2023-08-04 17:53:34 · 92 阅读 · 0 评论 -
【第四章】回归模型拓展
岭回归是对线性回归模型的正规方程进行修改,目的是使模型在解决过度拟合问题时更加稳定。与标准线性回归模型不同的是,岭回归在解决矩阵无法求逆的情况下,并通过添加一个偏置项使模型更具可解释性,有效地解决了多重共线性问题。LASSO 回归不能使用梯度下降法进行优化的原因是 L1 正则化项不是可微的,它是由绝对值函数构成的,这使得通过梯度下降法进行优化变得困难。L1:距阵中所用元素的绝对值之和。其中||w||1即为矩阵的1-范数,入为1-范数项的系数。能够列出 LASSO 回归的公式,解释公式中||w||1。原创 2023-08-04 17:42:34 · 106 阅读 · 0 评论 -
【第三章】对数几率回归
复述分类任务的具体输出是根据输入的文本,判断文本属于哪个类别,并输出该类别的标签。y是真实的标签值(正类值为1,负类值为0),y`是预测的概率值(y·∈(0,1)).它表征真实样本标签和预测概率之间的差值.能够列出对数几率回归 Logistic regression 的基本公式,并解释每一部分的含义。能够绘制出 Sigmoid 函数的函数图像,并根据图像阐述 Sigmoid 函数的性质。能够推导出交叉熵损失的具体表达式并阐述交叉熵损失函数的具体涵义。能够熟练的陈列出线性回归模型和对数几率回归模型的异同。原创 2023-08-04 17:34:57 · 78 阅读 · 0 评论 -
【第二章】线性回归
1、能够列出线性回归公式,y=wx+b+⊱并阐述每一个参数的具体含义。上述模型中X是自变量,Y是因变量,⊱是随机误差,w,b是需要学习的参数。2、了解线性回归和非线性回归的区别。原创 2023-08-04 17:12:46 · 80 阅读 · 0 评论 -
【第一章】机器学习预备知识
1、了解机器学习的发展简史。原创 2023-08-04 17:05:59 · 136 阅读 · 0 评论 -
【期末总复习】机器学习(公式推导与代码实现)鲁伟
训练集(Training set)作用是用来拟合模型,通过设置分类器的参数,训练分类模型。后续结合验证集作用时,会选出同一参数的不同取值,拟合出多个分类器。验证集(Cross Validation set)作用是当通过训练集训练出多个模型后,为了能找出效果最佳的模型,使用各个模型对验证集数据进行预测,并记录模型准确率。选出效果最佳的模型所对应的参数,即用来调整模型参数。如svm中的参数c和核函数等。测试集(Test set)通过训练集和验证集得出最优模型后,使用测试集进行模型预测。用来衡量该最优模型的性能和原创 2023-06-23 00:01:30 · 2247 阅读 · 1 评论