西瓜书第三章

一、机器学习三要素：

1. 模型：

        根据具体问题，确定假设空间

2. 策略：

        根据评价标准，确定选取最优模型的策略（通常会产出一个“ 损失函数 ” ）

3. 算法：

        求解损失函数，确定最优模型

二、一元线性回归

1.基本原理

确定w和b之后就可以确定模型

2.对于w的取值

        对于离散属性，属性值间存在序关系，可通过连续化将其转化为连续值。

        对于值的选取，有三种方式：二值（有序），三值（有序），多值（无序）

3.求解w和b

解得：

三、多元线性回归

将 进行转换得：

进一步通过向量化代入函数得到：

所以求解w即为

解得w为：

四、对数几率回归

1.进行分类，而不是进行回归

2.利用极大似然估计进行建模

首先确定0和1的概率分别是多少

然后确定极大似然估计

最后合并得到：

然后再利用梯度下降法，牛顿法进行求解对应参数，得到相对应的w和b