一、机器学习的两种定义?
答: 1. Arthur Samuel :“the field of study that gives computers the ability to learn without being explicitly programmed.”
2.Tom Mitchell : “A computer program is said to learn from experience E with respect to some class of tasks T and performance measure P, if its performance at tasks in T, as measured by P, improves with experience E.”
二、机器学习的两大类问题?
答: 监督学习与非监督学习。
三、代价函数?目标函数?
答: 代价函数:
目标函数:
四、偏导数?梯度下降公式?
答: 偏导数:
矩阵写法的偏导数:
梯度下降的公式:
五、特征缩放的目的?
答:特征缩放的公式为(x - u) / s;u表示均值,s表示标准差。
或者可以使用(x - min) / (max - min),将数据缩放到(0,1)之间。
目的是保证这些特征都具有相近的尺度,这将帮助梯度下降算法更快地收敛。
六、学习速率对学习算法的影响?
答:学习速率过小会使算法收敛的速度太慢;过大可能会出现波动与震荡,造成每一代更新并不能是代价函数减小。
七、正规方程解法的推导与公式?
不可逆的原因有两个,两个特征相关,或者样本数小于特征数。
八、logsitic回归的代价函数?
答: sigmoid函数
代价函数:
九、另外三种梯度下降的算法?
答:"Conjugate gradient", "BFGS", and "L-BFGS" 。(原理还未学习掌握)
十、fminunc的学习?
十一、解决过拟合的办法?
答:1.减少特征的数量;2.正则化。
正则化公式的更改:
注意theta是从1开始,而不是从0开始的。