吴恩达机器学习前三周

前三周主要学习了线性回归，分为两种，一种是对率回归，一种是线性回归。
其中线性回归是基于最小二乘法，而后根据n的大小选择normal equation和gradient descent的方法。gradient descent代码是用matlab写的，主要是使用矩阵的方法简化计算，减少循环。fminunc((@t),,)函数是内置函数，可以用作快速迭代，观察costfunction的变化可以看出随着迭代次数的进行的迭代效果。
对率回归是基于极大似然估计，通过使样本出现概率最大的方法求解，其核心是将线性函数投影到sigmoid函数中，因为sigmoid与跃迁函数有较为相似的性质，而其又是可导的，故选择它。对于costfunction的简化方法，与之前的方法大致一致，不过当feature中的多次项过多时容易产生overfitting，其结果导致模型在训练集上表现很好但在预测新的值时表现较差。于是引入regularization的方法，增加一个theta的二次项和，使在梯度时，能够较好的将高次项减少，而保留较为一般的特征。增加高次项以及增加feature都可以增加模型在训练集上的准确度。