![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
线性回归
浪子私房菜
这个作者很懒,什么都没留下…
展开
-
详解梯度下降法求解线性模型参数
有监督学习和无监督学习机器学习,分为有监督学习和无监督学习。有监督学习,就是有训练集,有label,我们是可以知道模型输出是什么样子的。而无监督学习,没有训练集,没有label,提前无法知道输出的样子。有监督学习分为两种:回归和分类。模型输出若为连续变量,就是回归;模型输出为离散值,就是分类。无监督学习常见的是聚类。给定一堆数据集,从中找出相似的类簇,这个过程没有label。神经网络,深度学习,SVM和决策树,都是有监督学习。下面介绍的方法也只适用于有监督学习。模型机器学习最一般的模型就是下面原创 2020-08-15 16:46:03 · 1887 阅读 · 0 评论 -
向量,标量对向量求导数学习
1.已知对谁求导数,就以谁(分母)作为主序,得出结果。比如这里x是列向量,求Ax关于x求导数,那么对x的每个分量分别求偏导数(写成一行),然后整理排成一列(同x一样是列向量)。同理有关于x的转置x.T求导数,x.T是行向量,那么Ax分别对x.T向量中的分量求偏导(写成一列),然后整体排成一行(同x.T是行向量)。2.若A是1×n行向量,x是n×1的列向量, 有3.若A是n×1列向量,x是n×1的列向量,有4.若A是n×n矩阵,x是n×1的列向量,有若A是对称矩阵,则有...原创 2020-08-13 17:51:25 · 1647 阅读 · 0 评论 -
矩阵求导与转置运算学习
线性代数补充矩阵转置矩阵求导前言:在推导算法过程中遇到一些数学运算,遇到了就记录下,方便回忆矩阵转置矩阵求导若A是对称矩阵,即A^T = A,则:参考:下一篇博客原创 2020-08-13 17:38:57 · 1279 阅读 · 0 评论 -
【ML模型推导】- 线性回归教程学习
线性回归0.数据集和目标1.模型2.策略3.算法(模型求解)正规方程法梯度下降法4 广义线性模型学习过程主要顺着 周志华《机器学习》第三章线性模型 内容,本次线性回归模型总结按照 “模型 + 策略 + 算法 ” 的统计学习三要素整理。0. 数据集和目标训练集假设m个样本,每个样本n个特征/属性,每个样本包含一个标记y。表示为:其中, 代表第Xj(i) 代表第i个样本的第 j 个特征模型的目标为:对于一个新的样本,给定特征可以给出它对应的Yk(在回归模型中,Yk是一个连续值原创 2020-08-14 20:42:08 · 347 阅读 · 0 评论