回归模型
文章平均质量分 79
qq_40432881
这个作者很懒,什么都没留下…
展开
-
吴恩达机器学习之单变量线性回归理论部分
理论部分1.方程形式在进行数据处理过程中,有时数据图像可拟合成单变量线性函数,即2.如何拟合此时,我们虽知道拟合函数的形式,但如何拟合仍是个问题,怎样拟合可以最接近实际数据情况呢?最小二乘法此时我们引入代价函数这个概念代价函数接下来我们来分析如何引入这个式子首先先看求和符号右边的平方式,这个平方式也叫做平方损失函数,这个式子是怎么来的呢?对于一个拟合的线性函数,函数对应...原创 2018-11-17 14:53:55 · 252 阅读 · 1 评论 -
多分类问题的另一种处理策略——softmax回归
本篇博客主要讨论由logistic回归的推广出的softmax回归来处理多分类问题的一种方法,以下为本人的个人理解,如有错误,欢迎指出。同时对于参考的文章在最后有列出,对这些大佬们表示感谢。本文的主要内容如下:1.由logistic回归的不足引入softmax回归2.softmax函数的引入3.softmax回归的代价函数形式4.分析代价函数形式的由来——交叉熵的引入5.由交叉熵与代...原创 2018-12-19 19:25:35 · 3573 阅读 · 2 评论 -
吴恩达机器学习之线性逻辑回归实现部分
C++实现“linear_regression.h”//二分类逻辑回归模型struct elem_log{ double y; double* x; //用数组传入自变量数据(x[0]=1,便于之后的计算)};class logistic_reg{//与线性回归的不同点在于hx不同public: logistic_reg(int xnum, ele...原创 2018-12-06 13:17:59 · 144 阅读 · 1 评论 -
吴恩达机器学习之逻辑回归理论部分
一.特征函数对应分类问题,我们先针对二分类问题进行讨论,对应计算机而言,分类即将数据按其特征值不同分为不同的集合,仅对应二分类问题,我们只需考虑分为:正类和负类,为此我们引入特征函数。y=1 — 代表二分类中的正类y=0 — 代表二分类中的反类这是特殊函数在集合意义上的理解,如果换成概率角度上的理解呢?对应二分类问题(监督学习),我们如果设置一个标准值,按照NG的说法设置为1(正...原创 2018-12-06 12:50:08 · 247 阅读 · 0 评论 -
机器学习中的范数规则化之L21范数
先看上面l21范数的定义,注意原始矩阵是n行t列的,根号下平方是对列求和,也就是说是在同一行中进行操作的,根号部分就相当于一个l2范数,由此可以看出l21范数实则为矩阵X每一行的l2范数之和。在矩阵稀疏表示模型中,把它作为正则化项有什么作用呢?前面说到它是每一行的l2范数之和,在最小化问题中,只有每一行的l2范数都最小总问题才最小。而每一个行范数取得最小的含义是,当行内尽可能多的元素为0时,约...转载 2018-12-12 14:49:40 · 12393 阅读 · 0 评论 -
机器学习中的范数规则化之核范数及其应用
我的博客中参考了大量的文章或者别的作者的博客,有时候疏忽了并未一一标注,本着分享交流知识的目的,如果侵犯您的权利,这并非我的本意,如果您提出来,我会及时改正。主要内容概述:1.核范数的引入及其作用2.稀疏与低秩3.核范数的相关应用1.核范数的引入及其作用核范数||W||*是指矩阵奇异值的和,英文称呼叫Nuclear Norm。这个相对于上面火热的L1和L2来说,可能大家就会陌生点。那它...转载 2018-12-12 14:42:24 · 8291 阅读 · 5 评论 -
吴恩达机器学习之多变量线性回归实现部分
C++实现梯度下降法“linear_regression.h”//多变量线性回归模型struct elem_var2{ double y; double* x; //用数组传入自变量数据(x[0]=1,便于之后的计算)};class var2_lin_reg{public: var2_lin_reg(int xnum, elem_var2* p, i...原创 2018-11-28 19:26:21 · 368 阅读 · 0 评论 -
吴恩达机器学习之多变量线性回归理论部分
本博客主要参考此博客:恋雨心一.Multiple Features — 多维特征相对于单变量线性回归模型,多变量线性回归模型适用于处理多个变量/特征。对比:以之前我们介绍的单变量线性回归模型为例:用房屋面积x预测房子价格y。现在我们对房价模型增加更多的特征,例如房间数楼层等,构成一个含有多个变量的模型,模型中的特征为(x1,x2,…,xn)。增添了更多特征后,我们引入以下新的注释...原创 2018-11-28 18:47:05 · 371 阅读 · 1 评论 -
吴恩达机器学习之单变量线性回归实现部分
C++实现代码实现“linear_regression.h”//单变量线性回归模型struct elem_var1{ double x, y; //训练集元素数据:自变量、因变量};class var1_lin_reg{public: var1_lin_reg(const elem_var1* p, int size, double rate); ...原创 2018-11-17 15:35:55 · 186 阅读 · 1 评论 -
机器学习中的范数规则化之L0、L1、L2范数
我的博客中参考了大量的文章或者别的作者的博客,有时候疏忽了并未一一标注,本着分享交流知识的目的,如果侵犯您的权利,这并非我的本意,如果您提出来,我会及时改正。本篇博客主要是为了解决机器学习中的过拟合和规则化问题,内容以线性回归为基础进行阐述,其优化使用的均为向量范数。主要内容概述如下:0.从监督学习中的优化问题谈起1.范数的引入2.范数的定义及公式3.L0、L1范数的理解4.L2范数...原创 2018-12-11 22:30:02 · 1454 阅读 · 0 评论