1,不同类型的函数
机器学习的两大类任务:regression和classification
EXAMPLE:
输入后台数据,ML预测明日点击量步骤:
step1,
【model】y是预测26号观众数(预测不一定对,之后要修正),x是25实际观测数,【unknown parameters】w和b是修正参数,weight、bias。
step2,定义损失函数Loss
EXAMPLE:
用2017/1/1预测1/2的值
算的Loss,越小越好,误差越小
两种计算方法
误差曲面error surface
step3:最优解
先只看一个参数w,利用梯度下降,随机一个点w0,斜率为negative,说明右边值小于左边,则往右走w1。但gradient descent会有局部minima问题
考虑完一个参数,接下来看两个参数w,b
当算出的微分(斜率)为负说明右边更小,再乘-η,则梯度为正向右移动。
微分(斜率)为正,再乘-η,则梯度为正向左移动。
训练:三个步骤合起来,但不一定是最满意的
这里model预测是前一天人数×0.97+100
100是(0.1*1000)
真实数据是每隔七天就有两天观看人数特别低,周五六最低,周日最高,但这个model只能看前一天,但真实数据是每7天一循环,所以修改model
优化模型,每七天为一组 :
以上为Linear model,只能模拟蓝色线,但模拟不出红色线。存在model bias。
Linear model表达能力弱,神经网络需要表达任意函数
用几条分段函数piecewise linear加上常数constant模拟出红色折线。
可以用任意多的piecewise linear curve逼近任一条曲线
sigmod函数 去逼近hard sigmod
修改参数效果:
用更有弹性的有未知参数的function来代替linear model减少model bias