P2:regression - case study
1:以预测宝可梦进化后的cp值(战斗力)为例。
step1: model
建立一个set of function,里面包含各种预测方法,例如y=b+W*Xcp (b和W为参数)
类似y=b+W*Xcp这样,能携程y=b+ΣWiXi格式的model称之为线性模型(linear model )
b—>bias 偏差
Wi—>weight 权重
Xi—>特征
step2:goodness of function
第一步:收集training data(训练数据)
第二步:定义一个loss function L,input是model中的一个function,output是一个数值,表示这个function有多么不好。
L(f)=L(b,w),所以,loss function的本质是衡量一组参数的好坏。
L(f)=L(b,w)= loss function一般用平方误差的和表示。
step3:pick the 'best' function
求最小的L(f),用于确定w和b。
step4:gradient descent(梯度下降)
dl/dw表示loss function的微分。 -η代表学习效率(learning rate),是指从w0移动的步长。
local optimal 局部最优 not global optimal 非全局最优。在linear regression中,没有局部最优。
两个参数的梯度下降,通过对应偏微分分别更新参数。
gradient(梯度):w对L的偏微分和d对L的偏微分的vector(向量).
formulation(公式化)
计算误差值average error,幂越高,training data的errors越小,而testing data则未必,仅在某一特定次幂时最小。
overfitting(过度拟合):更复杂的模型在testing data上无法拿到好的结果。
当数据量变大时可以轻易发现,宝可梦cp值受其他因素的影响,分析影响因素为宝可梦种类。进而重新寻找model。
regularization(正则化):影响因素过多,导致模型中参数变多时,容易造成overfitting。