P2 邹博机器学习logistic回归

ML/DL
(1)数据->模型（,建模，what)；
(2)模型->参数(How，SGD、BGD及其变种+动量、方向、Newton、BFGS、L-BFGS)，可用包实现，优化成为瓶颈；
重点：给定数据，求模型；
ResNet:残差，梯度可以传过去；优化方法少，对模型进行优化，适应梯度下降的要求；
分类：logistic回归、softmax回归；
用线性回归解决分类问题？

不建议用回归解决分类；不建议混着用；
一个softmax三分类和3个logistic回归；二分类是分类问题的基础；

阈值：0.5;
ML:选择模型；选择模型的损失函数；



y服从（2点分布）m个样本的二项分布，使用MLE(最大似然估计)；
logistic得到的是概率值；

求对数，求偏导，得到梯度；（目标函数是似然函数，梯度上升算法）

h^(thta)model不同，形式相同；二项分布和高斯分布都是指数分布；


logistic回归：对数线性；
升维、
特征：关于x是非线性的，关于thta是线性的。模型使用线性回归或者逻辑回归；

NLL:负对数似然；
目标函数：样本关于thta的联合概率；

对数似然更容易求导数。

特征学习；