机器学习课程学习阶段总结

最新推荐文章于 2022-03-02 02:15:00 发布

SeanChina

最新推荐文章于 2022-03-02 02:15:00 发布

阅读量801

点赞数

分类专栏：软件应用学习笔记文章标签：机器学习吴恩达

本文链接：https://blog.csdn.net/SeanChina/article/details/79776442

版权

软件应用同时被 2 个专栏收录

5 篇文章 0 订阅

订阅专栏

学习笔记

1 篇文章 0 订阅

订阅专栏

本文探讨了机器学习中的线性回归与逻辑回归，详细解释了两种方法的假设函数、代价函数及其求解过程。对于线性回归，通过最小化预测值与实际值之间的差距来求解参数；而对于逻辑回归，则通过特殊的假设函数实现分类任务。

摘要由CSDN通过智能技术生成

机器学习课程学习阶段总结

线性回归 & 逻辑回归

逻辑回归 是一种分类算法，和之前的线性回归不是同一类问题，但是对于处理问题上有相同的思想。对于线性回归问题，有较容易理解的思路。首先指定一个形式确定的

hθ(x)=θTx $h_\theta (x) = \theta^T x$
然后根据所有样本计算代价函数，距离的平方取平均再乘个系数:

J(θ)=12m∑mi=1(hθ(x(i))−y(i))2 $J(\theta) = \frac{1}{2m} \sum_{i=1}^{m}(h_\theta(x^{(i)})-y^{(i)})^2$
简单的理解就是根据假设函数得出的结果与实际样本的“远近”程度。我们希望求出代价函数最小值所在点对应向量

θ $\theta$ 。之后将

θ $\theta$ 带入到假设函数中，就得到较好的拟合结果。而代价函数中唯一的变量就是

θ $\theta$ ，所以可以通过求导（偏导数）的方法求出

θ $\theta$ 。

而逻辑回归的假设函数不再是简单的

hθ(x)=θTx $h_\theta (x) = \theta^Tx$
而是更适合用于之后数学计算过程的

hθ(x)=g(θTx) $h_\theta (x) = g(\theta^Tx)$
该假设函数的性质较特殊，可以最终通过判断 $\theta^T x$ 的正负来得出y=0或1。h(x)改变了，代价函数也跟着改变：根据样本的y=0或1有两段函数（涉及到log等，十分巧妙）,同样的，我们希望求出代价函数的最小值对应的

θ $\theta$ ，由于

θ $\theta$ 是代价函数的唯一变量，可以求导（偏导）得到，经过求导，非常非常巧合，导函数的形式和线性回归一致（但是本质不一致，因为假设函数就完全不同），所以可以用梯度下降的方法求出来最小值，以及对应的

θ $\theta$ 。

最后视频介绍了 fmin函数，主要是有助于求出代价函数的最小值，函数采用更高级的算法，但是目的还是求解代价函数最小。所以，在使用高级函数前，我们要得到数学模型。总而言之，求解这两类问题，首先确定 $h_\theta(x)$ 的形式，然后确定 $J(\theta)$ 的形式，再通过代入所有的样本，得到 $J(\theta)$ 的具体表达式。最后求 $J(\theta)$ 的最小值，以及对应的 $\theta$ ，放回 $h_\theta(x)$ 中，得出结论。