![](https://img-blog.csdnimg.cn/20201014180756925.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
机器学习
文章平均质量分 75
夢の船
学生。
展开
-
优化方法对比,SGD、momentum/Nesterov、AdaGrad、RMSProp、AdaDelta、Adam、AdaMax、Nadam
SGD, Momentum, Nesterov, Adagrad, Adadelta, RMSprop, Adam, Adamax, Nadam.(1)对于稀疏数据,尽量使用学习率可自适应的算法,不用手动调节,而且最好采用默认参数。(2)SGD通常训练时间最长,但是在好的初始化和学习率调度方案下,结果往往更可靠。但SGD容易困在鞍点,这个缺点也不能忽略。(3)如果在意收敛的速度,并且需要训练比较深比较复杂的网络时,推荐使用学习率自适应的优化方法。...原创 2022-08-02 14:53:26 · 727 阅读 · 1 评论 -
神经网络中的BN操作(常见正则化处理)
1. BN简介1.1. 目前主流的归一化层介绍1.2. Batch Normalization1.3. 为什么BN层要加上scale和shift?1.3.1. 为什么BN可以是网络参数梯度变化较为稳定?1. BN简介 BN的存在,主要起因于数据分布的问题。所谓数据分布,分为两种情况,一种在输入时数据分布不一样,称之为Covariate Shift,比如训练的数据和测试的数据本身分布就不一样,那么训练后的模型就很难泛化到测试集上。另一种分布不一样是指在输入数据经过网络内部计..原创 2021-04-14 18:34:59 · 19085 阅读 · 2 评论 -
逻辑回归(Logistic Regression)知识点
逻辑回归基础知识两个先验假设三级目录1 逻辑回归模型基础知识逻辑回归(Logistics Regression)是一种广义线性回归。线性回归解决的是回归问题,预测值是实数范围,逻辑回归则相反,解决的是分类问题,预测值是[0,1]范围。所以逻辑回归名为回归,实为分类。一句话来概括逻辑回归(LR):逻辑回归假设数据服从伯努利分布,通过极大化似然函数推导损失函数,运用梯度下降来求解参数,来达到将数据二分类的目的。两个先验假设三级目录1 逻辑回归模型逻辑回归(Logistics Regression)原创 2021-03-29 22:21:44 · 11203 阅读 · 0 评论