逻辑回归与线性回归:
线性回归主要应用于连续性的模型,逻辑回归主要用于解决分类问题,预测的结果通常是非0即1。
今天的课程主要探讨的是如何预防过拟合。
主要有两种方法:
1)减少特征数目 :通过在cost function后加一些额外的term,来减少某些个别特征的权重
2)regularization(正则化):减小所有特征的值
minθ 12m ∑mi=1(hθ(x(i))−y(i))2+λ ∑nj=1θ2j
θj:=θj(1−αλm)−α1m∑mi=1(hθ(x(i))−y(i))x(i)j
关于神经网络的结构:
神经网络的输入通常会多加一个偏置单元,x0=1;偏置单元的系数通常并不参与正则化。