机器学习
文章平均质量分 82
sddfsAv
这个作者很懒,什么都没留下…
展开
-
吴恩达机器学习(一)批量梯度下降算法练习
吴恩达机器学习批量梯度下降算法练习批量梯度学习算法理论推导实例总结批量梯度学习算法理论推导吴恩达机器学习课程的第一课中介绍了批量梯度下降算法,本节首先对该算法进行一定的数学推导。为便于分析,首先仅考虑一维的情况,涉及的公式符号与课程讲义一致。mmm:训练集数量x1(i)x^{(i)}_1x1(i) :第iii个训练样本的输入y(i)y^{(i)}y(i) :第iii个训练样本的输出h...原创 2019-02-22 12:21:24 · 1619 阅读 · 0 评论 -
吴恩达机器学习(二)随机梯度下降算法练习
随机梯度下降算法理论推导(待完成)在吴恩达的机器学习课程中,在介绍了批量梯度下降算法后,又介绍了随机梯度下降算法,随机梯度下降算法在处理大批量数据的时候运算速度优于批量梯度下降算法。讲义中并未提及该算法的具体推导,仅列出了算法的流程:Loop{for i=1i=1i=1 to m,θj:=θj−α(−∑i=1m(y(i)−h(xj(i)))xj(i))\theta_j := \thet...原创 2019-02-27 20:34:31 · 1376 阅读 · 0 评论 -
吴恩达机器学习(三)梯度下降算法的解析解
吴恩达机器学习(三)梯度下降算法的解析解随机梯度下降算法理论推导实例总结随机梯度下降算法理论推导由于在课程的讲义中老师已经推导了解析解,此处仅列出结论:θ⃗=(XTX)−1XTy⃗\vec{\theta}=(X^TX)^{-1}X^T\vec{y}θ=(XTX)−1XTy在推导当中,老师使用了下面一个性质:∇AtrABATC=CAB+CTAB\nabla_AtrABA^TC=CA...原创 2019-03-04 20:42:29 · 781 阅读 · 0 评论 -
吴恩达机器学习(四)局部加权回归
吴恩达机器学习(四)局部加权回归使用局部加权回归的原因局部加权回归的原理使用局部加权回归的原因在讲义中描述的是:makes the choice of features less critical(为了让特征的选择不是那么重要)另外,局部加权回归可以用线性回归的方法得到一个非线性的拟合结果。这句话有点奇怪,但了解局部加权回归的原理就能明白其中的原因了。局部加权回归的原理相关参数定义:m...原创 2019-03-18 20:29:31 · 693 阅读 · 0 评论 -
吴恩达机器学习(五)最小二乘法的概率性解释
吴恩达机器学习(五)最小二乘法的概率性解释问题提出分析流程问题提出当面临一个回归问题时,为什么目标函数要用以下的形式定义:J=12∑i=1m(hθ(x(i))−y(i))2J= \frac{1}{2}\sum_{i=1}^m(h_\theta(x^{(i)})-y^{(i)})^2J=21i=1∑m(hθ(x(i))−y(i))2分析流程1.假设目标变量yyy与输入量xxx存在...原创 2019-03-27 13:45:40 · 645 阅读 · 0 评论 -
吴恩达机器学习(六)逻辑回归
吴恩达机器学习(六)逻辑回归(未完成)逻辑回归的应用对象逻辑回归的假设函数、目标函数、求解假设函数目标函数求解例子分类结果逻辑回归的应用对象首先,最重要的是明白一个算法的应用对象。逻辑回归主要应用于分类问题。现实中分类问题有很多,简单的二分类:邮件中的垃圾邮件和非垃圾邮件;人中的男人和女人。多分类:自动驾驶中人、车、障碍物的识别;各种阻值不同的电阻识别。对于特征较少分类问题,逻辑回归是一种有...原创 2019-04-25 20:02:18 · 250 阅读 · 0 评论 -
吴恩达机器学习(七)——正则化解决过拟合
吴恩达机器学习(七)正则化解决过拟合过拟合过拟合无论线性回归还是逻辑回归均可能出现过拟合问题。举一个线性回归过拟合的例子。原创 2019-05-05 20:13:30 · 363 阅读 · 0 评论