机器学习重要理解

1.模型本质是一个函数,输入->f(输入)->输出

    1.1f(X)是一个复杂的函数,由简单的函数组成,神经网络中,f由多层神经层组成,每层神经层由神经元组成,神经元是具体的函数h(X),

h称为激活函数,一般类型有:sigmoid函数,Tanh函数,ReLU函数,softmax函数等,X是线性矩阵函数W*X+B

2.训练模型的过程是调整f的各个参数,使输出和实际值尽量接近.“训练”神经网络实际上意味着使用训练图像和标签来调整权重(W)和偏差(B)，以便最小化损失函数

3.输出与实际值之间的差距用损失函数表示.损失函数有多种类型:log对数损失函数,平方损失函数（最小二乘法, Ordinary Least Squares ）,指数损失函数（Adaboost）,Hinge损失函数（SVM）,0-1损失函数,绝对值损失函数,交叉熵损失函数

4.减少损失函数即调整W和B使loss最小,对于这种多参数的函数式,求最小值现在没有明确的数学公式,现行办法是一点点改变W和B得值尝试,有多种调整W和B得方式,称为优化函数(优化器):BGD 批量梯度下降,SGD随机梯度下降,MBGD小批量梯度下降. 每次调整W和B大小,调整的比率称为学习率,学习率太大,可能错过最小值,学习率太小则训练过程太慢,学习率指数衰减,避免鞍点

5.过拟合,在机器学习的模型中，如果模型的参数太多，而训练样本又太少，训练出来的模型很容易产生过拟合的现象,对训练集预测准确,对测试集准确率下降