花书中遇到的不懂的知识点

终于明白了为啥是似然函数和求导，都是为了求参数，反向的思维，以前是为了求y值，已知x，现在求参数。
链式法则求导时，求哪一个的导数哪一个是变量，其余的都看作常数

逻辑回归和线性回归

映射：一个x只可以映射到一个y,一个y可能有多个x映射到它
太金典的文章，写的太好了吧：链接: link.
sigmoid函数是逻辑回归，顾名思义，逻辑的回归，逻辑上回归于一个类，
将线性回归的值，约束到[0,1]之间，并且导数好求
sigmoid函数求导推导


写损失函数技巧：
1.损失函数小时，对应的需要的参数要符合目的
2.损失函数要便于求导，求导后便于计算(梯度下降要用到)
3.损失函数需要是凸函数
注：损失函数本身是为了优化模型（比如分类函数）的参数而诞生，真正最后使用的还是优化后的模型
LR(逻辑回归) 和 SVM（支持向量机）
LR建立在线性函数上的非线性回归
SVM是非线性回归

最优化

三级目录