Machine Learning
WeissSama
写清楚 搞清楚
展开
-
梯度下降优化系列方法, 以及牛顿法的介绍。
简单总结一下优化方法 优化线性回归有三种方法,1求解析解,2梯度下降,3牛顿法 对于没有解析解的优化问题,用方法2和3。 这两种方法都是常见的求解极值问题的方法,而且都是通过迭代逼近的办法求得最优解。但是两者之间又有着千丝万缕的关系。 对于梯度下降,梯度的步长是固定的。 而对于牛顿法,步长是根据当前状态的导数或者二阶导数决定的,因此步长是动态变化的。但是因为这种动态的步长,使得牛顿法相比于梯度下降...原创 2020-05-04 11:51:44 · 648 阅读 · 0 评论 -
从logistic regression引出的一系列问题
先把素材放在这里,有时间慢慢剪辑 coursera:logistic regression vs linear regression 这个视频清楚地解释了linear regression是做continuous variable回归的,logistic regression是用做分类的。 用sigmoid函数的原因: 1:相比用阈值或者阶跃函数,sigmoid函数光滑连续,有良好的数学特性 2:...原创 2018-11-04 11:32:01 · 236 阅读 · 0 评论