综合总结

术语 解释 关系 公式 叫做

线性回归用途：最简单预测连续值手段

1. 回归

   • 预测连续值（天气，速度，距离）
   • 用一条直线来拟合真实世界的一些规律
     • 属于有监督学习

2. 分类

   • 预测离散值（地名，品牌，颜色）
     • 属于监督学习

3. 有监督学习

   • datasets(数据集)中的每一条样本(数据中的每一行),都有一个对应的label(结果)
     • X --> Y

4. Datasets

   • 数据集，一般用关系型数据库的二维表来表示，也可以称作矩阵，记作X

     • 记作 X

5. 样本

   • 数据集中的一行，就是一条样本

     • 样本数量或行数

       • 记作 m

6. 特征

   • 数据集中的每一列，就是一个特征，该列的取值，表示所有样本在该特征上的取值

   • 特征数或列数

     • 记作 n

7. 字段

   • 特征的别名

8. 属性

   • 特征的别名

9. 标签

   • label,表示一个样本的结果(每一行的结果)

     • 记作 y

   • 真实值的y

     • 记作 y true

   • 计算出来的y

     • 记作 y hat

   • y true是采集来的，y hat 是用于做预测的

10. 无监督机器学习

    • datasets(数据集)的样本没有对应的label

11. 结果

    • 标签的别名

12. 聚类

    • 把具有相近特征关系(长得像)的样本进行分堆
    • 数据标注
    • 鉴黄师

13. 降维

    • 把数据集中冗余，异常和相关性大的特征去掉
    • 数据变小了，变得更有效了

14. 模型选择

    • 评估指标（检验算法是否优秀）

15. 预处理

    • 用于对前期采集的datasers(数据集)进行处理(冗余，异常，统一量纲，格式转换)
    • 得到更好的datasets，这样才能得到更准确地预测，同时也降低计算规模

16. 判别函数

    • inference function,用于做预测计算的函数，其结果是y hat

      • y hat 公式

17. 模型

    • 在机器学习里，模型 == 参数，参数一般用θ表示，也可以用w来表示，截距也看作一个参数，一般用w0来表示，此时x0行为1

    • models

      • 参数记作 θ或w 截距记作w0

18. 最小二乘法

    • 通过计算样本的y true与y hat差值平方和，找到最小的值，此时就可以找到最好的θ，这样的算法就是最小二乘法

    • 找到最好的θ

      • 最小二乘法公式

19. 损失函数

    • loss function ，衡量一个θ是否优秀的指标，标准就是让损失函数最小的θ就是最优秀的模型，在多元线性回归里，损失函数用mse表示

    • θ —》损失函数

      • 记作 mse

      • 损失函数公式

20. MSE

    • 均方误差(Mean Square Error)

      • 公式

21. 代价函数

    • cost function,损失函数的别名

22. 目标函数

    • objects function,损失函数的更全面称呼

23. θ

    • 参数，内涵截距斜率，一般用θ表示多个系数w

    • θ = (w0,w1,w2,…wn)

      • θ公式

      • 记作 内含有截距斜率

      • 叫做 西塔 theta

24. w

    • 权重系数，weight，斜率，普通特征用1,2,3,4,5,6…n表示

    • w的个数 == 特征个数，列数

      • 记作 斜率，系数，参数

25. w0

    • 通常用于表示截距

    • bias,intercet

      • 记作 截距

26. Σ

    • 求和符号

      • 叫做 西格马 sigma

27. ∞

    • 无穷，+∞，正无穷，无穷大，-∞ 负无穷，无穷小

      • 叫做 无穷大 infinity

28. ε

    • 误差，ε = y hat - y true

      • 叫做 艾普西隆 epsilon

29. ᵊ

    • 求偏导，读作partial

      • 叫做 求偏导

30. d

    • 求导

31. ▽

    • 求梯度，就是对向量里各个元素求偏导

      • 叫做 耐不拉 Nabla

32. α

    • learning rate 学习率，步长系数

    • 系数，控制一个变量值的缩放

      • 叫做 阿耳法 alpha

33. b

    • bias,偏执项 == 截距(intercept) == w0

      • 叫做 偏执项

34. T

    • 转置，对矩阵或向量的形式转换
    • 注意和reshape的区分

35. 矩阵相乘

    • 对位元素相乘再相加，行向量的第n列元素与列向量的第n行元素就是对位元素，也叫点乘，用dot表示

36. 矩阵求逆

    • X^{-1,np.linalg.ivn()，求出逆矩阵，X.dot(X}-1)=I，I是单位矩阵，单位矩阵的特点是坐上到右下的斜对角的元素权威1，其他为0

• 不是所有矩阵都可以求逆

37. 矩阵求导

    • 求梯度，就是对矩阵各个元素求偏导

    • 梯度迭代公式

    • 求梯度公式

38. 矩阵加减

    • 对位加减，结果的形状不变

39. 矩阵与常数计算

    • 矩阵中每一个元素都和该常数计算，结果形状不变

40. 矩阵和向量

    • 向量，有方向的量，沿着某个方向变化的量，有行向量和列向量

      矩阵就是多个向量的总和

41. 标准差

    • 就是方差的算数平方根，其除了能表示离散程度，还可以较直观看出实际的差距值

    • 公式

42. 方差

    • 用于表示数据之间的离散程度，越大说明越不稳定

    • 公式

43. 导数(值)

    • 过曲线上一点的切线的斜率值，实际中剋表示一些物理量(速度)

44. 导函数

    • 如果曲线上任意点都有切线，那么此时这些切线的斜率值与自变量(x,θ)等，形成的映射关系(函数),导函数求出的结果就是一个切线的斜率

45. 求导公式

46. 复合函数求导

47. 超参

    • 机器学习是找模型的过程，也是找参数的过程；但是求参数以外，还要事先设定一些额外的参数来控制学习过程，那么这些额外的参数就是超参。
    • iterate迭代次数，α学习率，tol判断梯度接近0的阈值；
      广义来讲，使用sklearn和tensorflow这些框架里的函数或类的初始化参数，都可以看做超参

48. 解析解

    • 利用求出损失函数的导数，令该导数为0，然后变换出θ的求解公式，这样的求最优解的方法就是解析解；
    • 1，数据量大的时候，计算速度很慢；
      2，有些矩阵不能求逆，导致该方法无效；

49. 数值解

    • 通过迭代，一步一步尝试出最好的θ；
    • 事实中有很多具体算法，例如梯度下降

50. 梯度下降法

    • 0，设定好超参，iterate，learning rate，tol
      1，初始化一个θ
      2，求出该θ在损失函数J(θ)里对应的导函数（梯度）
      3，用θ减去梯度乘以学习率α，得到更新后的θ
      4，判断当前梯度是否接近0，或迭代次数是否到达上限，如果条件满足，则退出循环；

51. 批量梯度下降

    • 在求梯度的时候，是全体样本参与计算，然后除以样本数m，得出的平均值来表示最终的梯度；

    • 1，下降的路径稳定，距离最短；

      2，每次求梯度计算量巨大，时间长

52. 小批量梯度下降

    • 每一次迭代的时候，都随机抽取一小批样本来进行梯度计算；
    • 折中方案，最好

53. 归一化和标准化

    • 目的是提高学习的效率（迭代快，预测准）

54. 多元

    • 多个自变量

55. 线性（关系，相关）

    • y=x，y=x1+x2, x与y的变化关系在几何图像里成线，平面或超平面；
      简记：所有的x都是一次方。