机器学习(一) --- 线性回归和logistic回归

一、机器学习的两种定义?

答: 1. Arthur Samuel :“the field of study that gives computers the ability to learn without being explicitly programmed.”

         2.Tom Mitchell : “A computer program is said to learn from experience E with respect to some class of tasks T and performance measure P, if its performance at tasks in T, as measured by P, improves with experience E.”

 

二、机器学习的两大类问题?

答: 监督学习与非监督学习。

 

三、代价函数?目标函数?

答: 代价函数: 

   目标函数:

 

四、偏导数?梯度下降公式?

答: 偏导数: 

矩阵写法的偏导数: 

梯度下降的公式:

 

五、特征缩放的目的?

答:特征缩放的公式为(x - u) / s;u表示均值,s表示标准差。

或者可以使用(x - min) / (max - min),将数据缩放到(0,1)之间。

目的是保证这些特征都具有相近的尺度,这将帮助梯度下降算法更快地收敛。

 

六、学习速率对学习算法的影响?

答:学习速率过小会使算法收敛的速度太慢;过大可能会出现波动与震荡,造成每一代更新并不能是代价函数减小。

 

七、正规方程解法的推导与公式?

答:机器学习之正规方程法推导

不可逆的原因有两个,两个特征相关,或者样本数小于特征数。

 

八、logsitic回归的代价函数?

答: sigmoid函数

代价函数:

 

九、另外三种梯度下降的算法?

答:"Conjugate gradient", "BFGS", and "L-BFGS" 。(原理还未学习掌握

 

十、fminunc的学习?

 

十一、解决过拟合的办法?

答:1.减少特征的数量;2.正则化。

正则化公式的更改:

注意theta是从1开始,而不是从0开始的。

 

  • 1
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值