线性单元和梯度下降 总结

课程来自于阿里云TIANCHI的AI学习，仅以此博客作为学习总结，下附课程链接:
链接: link

监督学习和无监督学习

• 常见的监督学习模型
  线性回归 决策树 SVM 神经网络
• 常见的无监督学习模型
  K均值 带label信息的量化聚类 高斯混合聚类

梯度下降优化算法

优点：

1. loss下降稳定，对于convex function，确保收敛到最小值
2. 对于non-convex function，确保收敛到局部最小值

缺点：

1. 速度太慢，效率太低，扫一遍样本集，才更新一次参数
2. 要把所有数据都load到内存进行梯度计算，无法应用在大数据集上
3. 无法进行online learning

• 牛顿法优化
• 梯度下降优化算法 SGD
• 随机梯度下降优化算法的变种 – Mini batach gradient descent
• 随机梯度下降优化算法的变种 – Momentum
• 随机梯度下降优化算法的变种 – Nesterov accelerated gradient
• 随机梯度下降优化算法的变种 – Adagard
• 随机梯度下降优化算法的变种 – RMSprop
• 随机梯度下降优化算法的变种 – Adam