机器学习算法
qq_43152949
这个作者很懒,什么都没留下…
展开
-
L1和L2正则化
L1和L2L1L2|w| < C稀疏性参考:https://blog.csdn.net/red_stone1/article/details/80755144另外一种解释:假设费用函数L与某个参数w的关系如图所示:则最优的 w在绿点处,w非零。现在施加 L2 regularization,新的费用函数(L+λw²)如图中蓝线所示:最优的 x 在黄点处,x ...转载 2019-08-23 16:32:52 · 317 阅读 · 0 评论 -
过拟合
偏差和方差欠拟合(underfitting),或者叫作叫做高偏差(bias)。过拟合(overfitting),也叫高方差(variance)。左上:低偏差,低方差。预测结果准确率很高,并且模型比较健壮(稳定),预测结果高度集中。右上:低偏差,高方差。预测结果准确率较高,并且模型不稳定,预测结果比较发散。左下:高偏差,低方差。预测结果准确率较低,但是模型稳定,预测结果比较集中。右下:...原创 2019-08-26 17:18:57 · 411 阅读 · 0 评论 -
树形算法
树形算法欢迎使用Markdown编辑器adaboost功能快捷键合理的创建标题,有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能,丰富你的文章UML 图表FLowchart流程图导出与导入导出导入欢迎使用Mark...转载 2019-08-22 16:50:23 · 1672 阅读 · 0 评论 -
线性回归
似然函数概率表示为:P(x|θ)是条件概率的表示方法,θ是前置条件,理解为在θ 的前提下,事件 x 发生的概率似然表示为:L(x|θ)理解为已知结果为 x ,参数为θ (似然函数里θ 是变量,这里说的参数是相对与概率而言的)对应的概率,即两者在数值上相等,但是意义并不相同。L(x|θ)是关于 θ 的函数,而P(x|θ) 则是关于 x 的函数,两者从不同的角度描述一件事情。以伯努利分...转载 2019-08-24 20:12:35 · 125 阅读 · 0 评论 -
SVM(未完SMO)
https://blog.csdn.net/v_JULY_v/article/details/7624837原创 2019-08-25 21:35:39 · 297 阅读 · 0 评论 -
机器学习(神经网络)优化方法
梯度下降法(Gradient Descent)梯度下降法根据每次求解损失函数L带入的样本数,可以分为:全量梯度下降(计算所有样本的损失),批量梯度下降(每次计算一个batch样本的损失)和随机梯度下降(每次随机选取一个样本计算损失)。PS:现在所说的SGD(随机梯度下降)多指Mini-batch-Gradient-Descent(批量梯度下降)SGD的优缺点优点:操作简单,计算量小,在损失...转载 2019-09-14 18:32:00 · 410 阅读 · 0 评论