wjlwangluo的博客

深度学习需要掌握的25个基本概念

在求解机器学习算法的模型参数，即无约束优化问题时，梯度下降（Gradient Descent）是最常采用的方法之一，另一种常用的方法是最小二乘法。这里就对梯度下降法做一个完整的总结。1. 梯度　　　　在微积分里面，对多元函数的参数求∂偏导数，把求得的各个参数的偏导数以向量的形式写出来，就是梯度。比如函数f(x,y), 分别对x,y求偏导数，求得的梯度向量就是(∂f/∂x, ∂f/∂

深度学习目录1.softmax2.损失函数3.激活函数4.sigmoid5.ReLu6.学习速率7.Dropout一、基础篇神经网络中的每个神经元 对其所有的输入进行加权求和，并添加一个被称为偏置（bias） 的常数，然后通过一些非线性激活函数来反馈结果。1. softmaxsoftmax主要用来做多分类问题，是logistic回归模型在多分类问题上的推广，softmax 公式：当k=2时，转换为...