从零点一开始机器学习之晦涩难懂的各种概念

系列文章目录

从零点一开始机器学习之晦涩难懂的各种概念
从零点一开始机器学习之Win10 64位下安装Cuda+Cudnn
从零点一开始机器学习之GPU运算性能和CPU性能对比（GPU算力表）
从零点一开始机器学习之TF1.0版本HDF5转换为saved_model
从零点一开始机器学习之HDF5模型发布到tensorflow/serving
Python中tensorflow Import使用错误集合

基础概念是机器学习中必不可少的内容，对我们了解机器学习和看文章有非常重要的作用。尤其是已经远离学生时代的开发人员来说，除了补充基本概念以外，还需要补充大量的数学和逻辑知识。

• 分类和回归的区别?
  分类和回归的区别在于输出变量的类型。
  定量输出称为回归，或者说是连续变量预测；
  定性输出称为分类，或者说是离散变量预测。
  举个例子：
  预测成都天府新区房价走势，这是一个回归任务；
  预测成都天府新区各个版本房价，就是一个分类任务

• 数据归一化处理
  对每个特征进行归一化处理，使得每个特征的取值缩放到0~1之间。这样做有两个好处：一是模型训练更高效；二是特征前的权重大小可以代表该变量对预测结果的贡献度（因为每个特征值本身的范围相同）

• 前向计算
  从特征和参数计算输出值的过程称为“前向计算”

• 均方误差
  均方误差（mean-square error, MSE）是反映估计量与被估计量之间差异程度的一种度量。设t是根据子样确定的总体参数θ的一个估计量，(θ-t)2的数学期望，称为估计量t的均方误差。它等于σ2+b2，其中σ2与b分别是t的方差与偏倚。

• 梯度下降法

• np.dot(x1, w)
  dot()返回的是两个数组的点积(dot product)
  e.g.：比如np.dot([1,2,3],[4,5,6]) = 14 + 25 + 3*6 = 32。
  如果是二维矩阵，看下图

import numpy as np
a = np.arange(1,5).reshape(2,2)
b = np.arange(5,9).reshape(2,2)
print(a)
print(b)
print(np.dot(a,b))
print(np.dot(b,a))

计算图解

• 过拟合
  拟合：拟合就是把平面上一系列的点，用一条光滑的曲线连接起来，连起来干什么呢？
  过拟合：连起来了就可以得到一个曲线函数y=f(x),那么我们就可以通过这个函数进行其他的预测了
  过拟合是指训练误差和测试误差之间的差距太大。换句换说，就是模型复杂度高于实际问题，模型在训练集上表现很好，但在测试集上却表现很差。模型对训练集"死记硬背"（记住了不适用于测试集的训练集性质或特点），没有理解数据背后的规律，泛化能力差。
  推荐参考文章：https://zhuanlan.zhihu.com/p/72038532