本文是Google机器学习教程(ML Crash Course with TensorFlow APIs)的学习笔记。教程地址:
https://developers.google.com/machine-learning/crash-course/ml-intro
1.ML介绍(定义及构成)
给出ML的直白定义
常用的术语,基本的算法模型
2.深入ML:线性回归
从图形化、方程式、训练方法来分析线性回归模型
- 图形化:
- 方程式
- 训练方法
通过经验风险最小化方法,将模型的损失降低到最小,而最常用的损失是平方损失,将所有样本的平方损失取均值,就是平均平方损失(MSE)。线性回归模型可以通过最小化MSE来训练。MSE的最小化通过梯度下降方法实现。
MSE计算方程:
模型优化架构:
整体思维导图:
梯度下降关键点有两个:
- 损失(成本)函数对参数求偏导——这是个数学问题
- 学习率的优化——太小则学习效率低,太大则容易无法收敛,不断尝试
对大数据的训练,可以采用随机梯度下降方法,每次迭代只选择一个样本;或者采用小批量随机梯度下降方法,每次迭代选择10-1000的样本;每次(或每几次)迭代输出损失,控制迭代次数,只要损失达到期望的限度内即可;
3. Google给出的模型调优建议