Dear_learner的博客

文章转载于：https://www.cnblogs.com/pinard/p/5970503.html主页：https://www.cnblogs.com/pinard/在求解机器学习算法的模型参数，即无约束优化问题时，梯度下降（Gradient Descent）是最常采用的方法之一，另一种常用的方法是最小二乘法。这里就对梯度下降法做一个完整的总结。1、梯度在微积分里，对多元函数的参数求∂偏导数，把求得的各个参数的偏导数以向量的形式写出来，就是梯度。比如函数f(x,y), 分别对x,y求偏导数，求得

1、softmax函数softmax函数的定义为：softmax函数的特点：● 函数值在[0,1]之间；● 所有的softmax(xi)相加的总和是1面对一个分类问题，能将输出的yi转换成[0,1]的概率，选择最大的概率yi作为分类的结果。sigmoid函数定义为：sigmoid函数将每个yi映射到[0,1]之间，但每个yi之间是相互独立的，∑yi与1没有关系，可以用作二分类；而softmax函数的本质是将一个k维数据[a1,a2,a3,…,ak]映射成另外一个K维向量[b1,b2,b3