本文介绍了线性回归模型、平方误差代价函数、梯度下降算法以及多变量回归中的特征缩放技术。重点探讨了正则化在防止过拟合中的作用，包括逻辑回归和线性回归的正则化版本，以及如何通过调整学习率和正则化参数来优化模型。
目录
平方误差代价函数(Squared error Cost function)
逻辑回归的代价函数（Cost Function for logistic regression）
过拟合（The problem of overfitting）
带有正则化的代价函数（Cost function with regularization）
正则化线性回归（Regularized linear regression）
正则化逻辑回归（Regularized logistic regression）
监督学习：
通过给予模型“正确答案”的数据进行训练
训练集(training set)包含：样本特征(features)和目标(target)
线性回归（Linear Regerssion）模型
它通过数据拟合出一条直线
f(x) = wx + b （Linear regression with one variable/ Univariate linear regression ）
平方误差代价函数(Squared error Cost function)
评价模型的一个指标，帮助我们更好的去优化模型
测量一组特定参数与训练数据的吻合程度
预测结果𝑓𝑤、𝑏(变量)与目标数据相匹配，则项为零，代价最小。
右图类似于：等高线
梯度下降（Gradient descent）
是一种用来最小化任意函数的算法，更系统的方法来求w,b的值，以获得最小的代价J(w,b)。
设置w,b初值（一般为0），通过不断调整w,b的值，来找到可能的局部最小值（极小值）
重复执行以下两个操作（随着w,b的不断更新/“同步更新”），直到算法收敛（w,b不再改变）。
a:学习率，通常是一个小的正数（0~1）。a决定了往下走的步幅
学习率a的选择，对梯度下降的执行效率会产生很大影响
对于J的导数项，决定了希望朝哪个方向迈出第一步
同步更新意味着：
多变量回归
/多元线性回归 / 多元特征（Multiple features）/ 多个特征
(2)为向量表达式
np.dox(w,x) 实现了向量W,X之间的点乘 ， Numpy中的dot函数
f = np.dot(w,x) + b 计算多变量代价
多变量梯度下降
特征放缩（Feature scaling）技术
用来使梯度下降运行的更快
通过重新放缩这些特征，使它们都具有可比较的值范围，可显著加快梯度下降的速度
对具有不同取值范围的特征进行缩放，使它们之间具有可比较的值范围
放缩方法：
除最大值
均值归一化
Z-score 标准（为每一个特征计算标准差）
特征工程（Feature Engineering）
运用知识或直觉设计新的特征，以做出更准确的预测，通常通过转换或合并问题的原始特征
多项式回归（Polynomial regression）
结合多元线性回归和特征工程的概念，提出一种多项式回归的算法，可以帮助你将数据拟合成曲线，非线性函数。
分类算法 Classification
逻辑回归 （Logistic regression）
想要创建逻辑回归算法，我们需要引入一个重要的数学函数：Sigmoid函数/logistic函数
左图为函数图像、右式为逻辑回归模型，它输入特征或特征值X，输出0~1之间的数字
决策边界 （Decision boundary）
设定一个阈值（通常为0.5），如果f(x)>0.5,那么预测y=1
逻辑回归的代价函数（Cost Function for logistic regression）
在选择这个损失函数之后，整个代价函数就是凸函数了，此时就可以使用梯度下降法以得到全局最小值。
当y=1时：
当y=0时：
横轴为f（x）,可以发现：当预测概率 f_i 接近真实标签 y_i 时，损失趋向于 0，而当二者差异较大时，损失会增大。
逻辑回归的目标是最小化交叉熵损失函数，通过调整模型的参数（权重和偏置），使得预测的概率尽可能接近真实标签，从而使损失最小化。通常会使用优化算法（如梯度下降）来迭代地更新模型参数，以找到最优的参数配置，使代价函数最小化。
逻辑回归的简化代价函数
使得用梯度下降来拟合逻辑回归模型的参数时，实现起来会更简单一些
逻辑回归的梯度下降
过拟合（The problem of overfitting）
右图为过拟合：不具有泛化到新样本的能力；另一个术语是，算法具有高方差（对于稍微不同的数据集，得出的预测结果可能大相径庭）
左图 为欠拟合： 模型对训练数据拟合不足 ； 高偏差
过拟合同样适用于分类算法
正则化会帮助你最小化出现过拟合的概率
解决过拟合
法一、收集更多的训练数据
法二、观察是否可以使用更少的特征（数据没那么多，特征太多了）
法三、正则化：保留所有特征，尽量缩小f(x)中参数的值，而不是像法二一样设置为0
正则化
正则化的目标是使模型能够更好地泛化到新数据，而不仅仅是记住训练数据。
正则化通过在模型的损失函数中引入惩罚项来实现，这个惩罚项通常会对模型参数的大小进行约束
带有正则化的代价函数（Cost function with regularization）
正则化的实现方式通常是惩罚所有的特征（所有的Wj参数）； 为正则化参数
最小化第一项，使算法能更好的拟合数据；最小化第二项，可以减少过拟合的风险。所以，对 值 的选取，就体现了相对重要性（对这两项如何取舍）
正则化线性回归（Regularized linear regression）
如何用正则化线性回归实现梯度下降
没有试图对b正则化，所以b式不变
正则化逻辑回归（Regularized logistic regression）
公式与上面线性回归一样，只是f的定义不再是线性函数，而是应用与z的logistic函数
如何调试和诊断算法学习过程中可能出现的问题
用于识别何时可能发生过拟合和欠拟合的工具
扫一扫
797
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
