机器学习P3.1~4.2学习记录

1.矩阵与向量：

  在矩阵A中，代表此元素在第i行，第j列。

矩阵可以快速整理，索引和访问大量数据。

  在向量A中，可以看作是阶矩阵。

记向量为y,则y中存在的元素可表示为：。

2.关于矩阵和向量的加减乘运算，特别提出乘法运算：

            A                 

例：     （阶矩阵）=（阶矩阵）=（阶矩阵），观察此式引出矩阵或向量乘法结论：（ 阶矩阵） （ 向量）= （向量）  

3.对于一些情况（如：知道数据集和假设函数）

计算的预测值=数据矩阵【数据集计入首列全为1的矩阵】参数【假设函数的参数】

例：已知房子的面积                         已知3种计算房子价格的假设函数

                2104                                         

                1416                                          

                1534                                          

                 852

计算预测值可以由矩阵乘法表示为：

【三列结果分别表示对应的三个代价函数的预测值】

4.编程语言的线性代数函数库/计算机的SIMD并行（一条指令处理多个数据）可以高效进行矩阵之间的乘法运算。

5.矩阵补充：

  逆矩阵：只有方阵才有逆矩阵

  奇异矩阵和退化矩阵：矩阵不存在逆矩阵

  转置矩阵：

6.多变量

  先前利用房屋面积作为房屋价格的唯一特征，现在引入多个变量同时参与衡量房屋价格：面积，房间数量，房屋楼层和房屋年限，分别记为。

  引入几个符号：

    n:特征数量

    ：训练集第i行的特征集

   ：训练集第i行的特征集的第j个特征值

基于多变量重写假设函数：

       定义：/

便捷方式表示多变量特征下的假设函数：

  ，其中特征向量：，参数向量：

7.多元梯度下降法（解决多元线性回归的问题）

假设函数：

参数：

【可以看作一个整体：n+1维向量】

代价函数：

【 向量】

多元梯度下降法：

repeat{

 【 向量】

}

具体展开：

repeat{

  【同步更新，j=0,1,2,...,n】

}

因此：

[=1]

......