- 博客(7)
- 收藏
- 关注
RSS订阅原创 L1与L2正则化
正则化方法：减少泛化误差，而不是减少训练误差的方法（减少过拟合）。训练神经网络的时候，我们的目的是找到损失函数的最小值，就算损失函数的值是相同的，得到的 W 和 B 也可能是一组一组不同的值。当输入一个新的数据，当参数数值比较大的时候，这样会放大误差与噪声（统计中心法则）。X，Y两个轴表示两种特征第二张图上的点表示可能只需要一个特征就能进行判断（L1正则化可以带来稀疏性：某些特征起作用，将特征与特征之间的关系去耦合了，也恰恰是减少过拟合的过程）。（注意：这里只需要一个参数（不需要C））
2023-04-24 21:50:41
89
原创 lingo在数学建模中的应用
遇到线性规划和非线性规划的问题时，用matlab解比较复杂。ctrl+鼠标滚轮：对界面放大缩小解x+1=2的方程：先输入“x+1=2；”，然后点击“solve”方程以分号结束，所有符号必须是英文输入，+,-,*,/。2*x+1=1；其中“*”不可以省略。lingo默认所有变量大于等于0，因而非负条件不用写；遇到一个变量可以小于0，用到一个函数@free，来使其定义域为R；lingo不区分大小写；变量均由字母数字下划线组成，且字母在首位。注意：矩阵x中的第一个元素是x（1）。一个线性规划中只含一个目标函数。（
2022-12-05 11:50:08
1628
原创 《机器学习》（西瓜书）第六章
对于两类训练样本分开的超平面很多，我们需要找到对训练样本局部扰动的“容忍”性最好的那一个。对未见示例的泛化能力最强。（鲁棒性：一个系统或组织抵御或克服不利条件的能力。）距离超平面最近的几个训练样本能够正确分类，他们被称为“支持向量”，两个异类支持向量到超平面的距离之和称为“间隔”。为什么需要通过放缩w和b使得距离超平面最近的样本点所对应的值恰好为+1与-1？间隔：为了找到具有“最大间隔”的超平面，需要使参数最小，这就是支持向量机（SVM）的基本模型。即转化为：(6.6)寻找多元函数在一组约束下的极值的方法。
2022-12-03 20:57:18
878
原创 《机器学习》（西瓜书）第五章
神经网络由神经元组成广泛并行互联，神经元是最基本单元。M-P神经元模型：与生物神经元类似，接受n个输入，不同输入权重不同，然后与阈值进行比较（如果超过则“兴奋”），经过激活函数处理产生输出。激活函数在前面有提到，我们常使用sigmiod作为激活函数。
2022-11-27 15:46:13
634
原创 《机器学习》（西瓜书）第四章
在对一个事例进行判定时，通常会进行一系列的“子决策”，下一步的考虑基于上一步的前提。一颗决策树包含一个根结点，若干个内部结点和若干个叶结点；叶结点对应于决策结果，其他每个结点对应于一个属性测试；每个结点包含的样本集合根据属性测试的结果被划分到子结点中；根结点包含样本全集。从根结点到每个叶结点的路径对应了一个判定测试序列。直观地理解：ifelse语句，对一个东西多次判断正反。因此，我们不难得出在决策树中，如何设定判定条件更大可能的将我们需要的东西区别出来十分重要。
2022-11-24 17:30:00
673
原创 《机器学习》（西瓜书）第三章
1：模型：根据实际问题，确定假设空间2：策略：根据评价标准，确定选取最优模型的策略（通常会产出一个“损失函数”）（损失函数：每次训练集送入模型后，输出预测值，通过损失函数计算出预测值和真实值之间的差异值，通过模型反向传播更新参数，降低损失值）3：算法：求解损失函数，确定最优模型。
2022-11-18 00:29:52
835
3
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人