机器学习03

weixin_57950256

已于 2022-06-27 16:48:00 修改

阅读量282

点赞数

文章标签：机器学习

于 2022-06-27 16:47:34 首次发布

本文链接：https://blog.csdn.net/weixin_57950256/article/details/125460362

版权

本文介绍了机器学习中的决策边界概念，通过sigmoid函数建立分类问题的模型。讨论了交叉熵作为损失函数，并提及梯度下降优化方法。接着，文章探讨了过拟合问题及其对模型泛化能力的影响，提出了减少变量和正则化作为解决方案，详细解释了正则化在损失函数中的作用，包括在线性回归和逻辑回归中的应用。

摘要由CSDN通过智能技术生成

预测的变量y为是一个离散值的情况下的分类问题，这时要运算logistic回归算法，它能让 $h\left ( x \right )$ 的输出值处于区间 $\left [ 0,1 \right ]$ 之间,该数值用来表示处于某一分类的概率为多大

假设 $h_{\theta }(x)=g(\theta ^{T}x)$ ，其中g（z）函数可以有很多，这里假设为sigmoid函数，即 $g(z)=\frac{1}{1+e^{-z}}$

决策边界

上面这条粉红的线就叫决策边界，它将整个平面分成了两个部分，一部分为类别1，另一部分为类别2，这决策边界是假设函数的属性，不是数据集的属性

损失函数

用于分类问题的 $cost(h_{\theta }(x),y)=\begin{cases} -log(h_{\theta }(x)) & \text{ if } y=1 \\ -log(1-h_{\theta }(x)) & \text{ if } y=0 \end{cases}$ 的损失函数，即交叉熵损失函数，可以简化为 $cost(h_{\theta }(x),y)=-ylog(h_{\theta }(x))-(1-y)log(1-h_{\theta }(x))$ ，二者等效，h（x）为预测结果，y为真实结果，最后整理可得 $J(\theta )=\frac{1}{m}\sum_{i=1}^{m}cost(h_{\theta }(x^{i}),y^{i})$ ，即