Tra_cy的博客

文章目录1 梯度下降1.1 批量梯度下降法（BGD: Batch Gradient Descent）1.2 随机梯度下降法（SGD: Stochastic Gradient Descent）1.3 小批量梯度下降法（MBGD：Mini-Batch Gradient Descent）2 Momentum3 Adagrad：Adaptive gradient algorithm4 RMSProp5 Adam: Adaptive Moment Estimation1 梯度下降数学解释：在微积分里面，对多元函数

一、IntroductionMeta learning = Learn to learn二、Meta Learning1、比较与Life-long的区别：Life-long：所有任务使用一个模型Meta：每个任务可能有不同的模型与Machine Learning的区别：2、算法步骤# Step 1：定义一个learning algorithm的集合；# 初始化参数不一样，表示不一样的学习算法# Step 2：评价一个learning algorithm的好坏；# N个Ta