ML/DL
(1)数据->模型(,建模,what);
(2)模型->参数(How,SGD、BGD及其变种+动量、方向、Newton、BFGS、L-BFGS),可用包实现,优化成为瓶颈;
重点:给定数据,求模型;
ResNet:残差,梯度可以传过去;优化方法少,对模型进行优化,适应梯度下降的要求;
分类:logistic回归、softmax回归;
用线性回归解决分类问题?

不建议用回归解决分类;不建议混着用;
一个softmax三分类和3个logistic回归;二分类是分类问题的基础;

阈值:0.5;
ML:选择模型;选择模型的损失函数;



y服从(2点分布)m个样本的二项分布,使用MLE(最大似然估计);
logistic得到的是概率值;

求对数,求偏导,得到梯度;(目标函数是似然函数,梯度上升算法)

h^(thta)model不同,形式相同;二项分布和高斯分布都是指数分布;


logistic回归:对数线性;
升维、
特征:关于x是非线性的,关于thta是线性的。模型使用线性回归或者逻辑回归;

NLL:负对数似然;
目标函数:样本关于thta的联合概率;

对数似然更容易求导数。


特征学习;
本文深入探讨了机器学习中的关键概念,包括模型选择、优化方法如SGD、BGD及变种,以及如何通过ResNet等模型优化梯度下降过程。文章还对比了logistic回归与softmax回归在分类任务中的应用,并解释了为何不推荐使用线性回归解决分类问题。此外,文中详细阐述了最大似然估计在二项分布中的应用,以及logistic回归的概率性质。

被折叠的 条评论
为什么被折叠?



