一、机器学习三要素:
1. 模型:
根据具体问题,确定假设空间
2. 策略:
根据评价标准,确定选取最优模型的策略(通常会产出一个“
损失函数
”
)
3. 算法:
求解损失函数,确定最优模型
二、一元线性回归
1.基本原理
确定w和b之后就可以确定模型
2.对于w的取值
对于离散属性,属性值间存在序关系,可通过连续化将其转化为连续值。
对于值的选取,有三种方式:二值(有序),三值(有序),多值(无序)
![](https://i-blog.csdnimg.cn/blog_migrate/e3875da7898851338844ea0f0096f53b.png)
3.求解w和b
![](https://i-blog.csdnimg.cn/blog_migrate/607c3573e0bdf131fc05ad8383a16c13.png)
解得:
![](https://i-blog.csdnimg.cn/blog_migrate/99b0d26501960b3361a8260befef4e6a.png)
![](https://i-blog.csdnimg.cn/blog_migrate/d3b116921b3b8945a5373ab69b932cab.png)
三、多元线性回归
将
进行转换得:
![](https://i-blog.csdnimg.cn/blog_migrate/d5b11f6302973a7eb9826c1a2699d6ac.png)
进一步通过向量化代入函数得到:
![](https://i-blog.csdnimg.cn/blog_migrate/00bcb60dc5096f96b794cbf2352ee469.png)
所以求解w即为
解得w为:
四、对数几率回归
1.进行分类,而不是进行回归
2.利用极大似然估计进行建模
首先确定0和1的概率分别是多少
然后确定极大似然估计
最后合并得到:
然后再利用梯度下降法,牛顿法进行求解对应参数,得到相对应的w和b