![](https://img-blog.csdnimg.cn/20201014180756930.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Python
飞天红猪侠001
这个作者很懒,什么都没留下…
展开
-
正则化
一、欠拟合与过拟合 1、欠拟合的解决方法: 增加输入特征项 增加网络参数 减少正则化参数 2、过拟合的解决方法; 数据清洗 增大训练集 采用正则化 增大正则化参数 二、正则化 正则化缓解过拟合 正则化在损失函数中引入模型复杂度指标,利用给w加权值,弱化了训练数据的噪声(一般不正则化b) 损失函数的形式: loss = loss(y 与 y_) + REGULARIZER * loss(w) loss(y 与 y_) 是模型中所有参数的损失函数,如:交叉熵,均方误差...原创 2020-07-29 00:20:03 · 265 阅读 · 0 评论 -
学习笔记,神经网络和反向传播
简单的二分类情形: 1、前向传播 有m个样本,每个样本有n个特征,, 每个特征的权重是, 权重向量为,偏置为b, 激活函数为sigmoid函数, 则激活后的值为, 大写表示向量,小写表示标量 2、反向传播 y为真实值,损失函数为 代价函数为 , 代价函数为a, y的函数,实际上可以看作是w,b的函数 梯度下降法,对w,b进行求偏导 反向传播的简单理解:通过上面的分解,J对w的偏导,分解为J对a的偏导,a对z的偏导,z对w的偏导,一个反向链条,从J传播到w...原创 2020-07-28 16:43:56 · 116 阅读 · 0 评论 -
学习笔记,梯度下降(非向量实现)
在求解机器学习算法的模型参数,即无约束优化问题时,梯度下降(Gradient Descent)是最常用的方法之一。 一、梯度 在微积分里,对多元函数参数求偏导,把求得的各个参数的偏导数以向量的形式写出来,就是梯度。如果是一元函数,梯度就是偏导。 例如,f(x1,x2),分别求偏导,梯度向量就是(∂f/∂x1, ∂f/∂x2) 梯度向量的意义:从几何意义上来讲,就是函数变化增加(上升)最快的方向。 二、梯度下降 在机器学习算法中,在最小化损失函数时,可以通过梯度下降来一步步的迭代求解,...原创 2020-05-29 01:18:10 · 199 阅读 · 0 评论