通俗理解线性回归(一)

本人已经打算将这一系列博文做成动画趣味科普的形式来呈现,感兴趣的话可以点这里

#0 什么是回归?
假设线性回归是个黑盒子,那按照程序员的思维来说,这个黑盒子就是个函数,然后呢,我们只要往这个函数传一些参数作为输入,就能得到一个结果作为输出。那回归是什么意思呢?其实说白了,就是这个黑盒子输出的结果是个连续的值。如果输出不是个连续值而是个离散值那就叫分类。那什么叫做连续值呢?非常简单,举个栗子:比如我告诉你我这里有间房子,这间房子有40平,在地铁口,然后你来猜一猜我的房子总共值多少钱?这就是连续值,因为房子可能值80万,也可能值80.2万,也可能值80.111万。再比如,我告诉你我有间房子,120平,在地铁口,总共值180万,然后你来猜猜我这间房子会有几个卧室?那这就是离散值了。因为卧室的个数只可能是1, 2, 3,4,充其量到5个封顶了,而且卧室个数也不可能是什么1.1, 2.9个。所以呢,对于ML萌新来说,你只要知道我要完成的任务是预测一个连续值的话,那这个任务就是回归。是离散值的话就是分类。(PS:目前只讨论监督学习)

#1 线性回归
OK,现在既然已经知道什么是回归,那现在就要来聊一聊啥叫线性。其实这玩意也很简单,我们在上初中的时候都学过直线方程对不对?来来来,我们来回忆一下直线方程是啥?
y = k x + b y=kx+b y=kx+b
喏,这就是初中数学老师教我们的直线方程。那上过初中的同学都知道,这个式子表达的是,当我知道k(参数)和b(参数)的情况下,我随便给一个x我都能通过这个方程算出y来。而且呢,这个式子是线性的,为什么呢?因为从直觉上来说,你都知道,这个式子的函数图像是条直线。。。。从理论上来说,这式子满足线性系统的性质。(至于线性系统是啥,我就不扯了,不然没完没了)那有的同学可能会觉得疑惑,这一节要说的是线性回归,我扯这个low逼直线方程干啥?其实,说白了,线性回归无非就是在N维空间中找一个形式像直线方程一样的函数来拟合数据而已。比如说,我现在有这么一张图,横坐标代表房子的面积,纵坐标代表房价。
这里写图片描述
然后呢,线性回归就是要找一条直线,并且让这条直线尽可能地拟合图中的数据点。
那如果让1000个老铁来找这条直线就可能找出1000种直线来,比如这样
这里写图片描述
这样
这里写图片描述
或者这样
这里写图片描述
喏,其实找直线的过程就是在做线性回归,只不过这个叫法更有逼格而已。。。

#2 损失函数
那既然是找直线,那肯定是要有一个评判的标准,来评判哪条直线才是最好的。OK,道理我们都懂,那咋评判呢?其实简单的雅痞。。。只要算一下实际房价和我找出的直线根据房子大小预测出来的房价之间的差距就行了。说白了就是算两点的距离。当我们把所有实际房价和预测出来的房价的差距(距离)算出来然后做个加和,我们就能量化出现在我们预测的房价和实际房价之间的误差。例如下图中我画了很多条小数线,每一条小数线就是实际房价和预测房价的差距(距离)
这里写图片描述
然后把每条小竖线的长度加起来就等于我们现在通过这条直线预测出的房价与实际房价之间的差距。那每条小竖线的长度的加和怎么算?其实就是欧式距离加和,公式如下。(其中y(i)表示的是实际房价,y^(i)表示的是预测房价)
这里写图片描述
这个欧氏距离加和其实就是用来量化预测结果和真实结果的误差的一个函数。在ML中称它为损失函数(说白了就是计算误差的函数)。那有了这个函数,我们就相当于有了一个评判标准,当这个函数的值越小,就越说明我们找到的这条直线越能拟合我们的房价数据。所以说啊,线性回归无非就是通过这个损失函数做为评判标准来找出一条直线。

刚刚我举的例子是一维的例子(特征只有房子大小),那现在我们假设我的数据中还有一个特征是楼间距,那图像可能就是酱紫了。
这里写图片描述
从图我们可以看得出来,就算是在二维空间中,还是找一条直线来拟合我们的数据。所以啊,换汤不换药,损失函数还是这个欧式距离加和。
这里写图片描述


先写到这里,因为如果篇幅太长,对于萌新来说不太友好,而且后面想用人话来聊聊线性回归的正规方程解,所以先蓄个力。

在这里插入图片描述

<think>好的,用户想要了解FM算法,也就是因子分解机,我得先回忆下它的基本概念和应用场景。FM算法在推荐系统和CTR预估中很常见,对吧?用户可能已经听说过协同过滤或者逻辑回归这些传统方法,现在想了解FM的优势在哪里。 首先,我需要解释FM解决的问题。传统的线性模型,比如逻辑回归,只能学习各个特征的权重,无法捕捉特征之间的交互作用。而现实中的数据,特征之间的组合往往很重要,比如用户年龄和商品类别的组合。这时候,二阶特征组合就变得必要了,但直接用线性模型处理会导致参数过多,特别是在特征维度高的情况下,计算量和过拟合问题都会很严重。 接下来,我得说明FM是怎么解决这个问题的。FM通过引入隐向量的概念,将每个特征映射到个低维的向量,然后用这些向量的内积来表示特征交互的权重。这样参数数量就从O()降到了O(kn),k是隐向量的维度,通常远小于n。这样不仅减少了计算量,还能在数据稀疏的情况下更好地泛化,因为隐向量可以学习到特征之间的潜在关系。 然后需要比较下FM和其他方法的区别。比如,和矩阵分解的关系,FM其实可以看作是矩阵分解的扩展,加入了更多特征。还有和SVM的对比,尤其是多项式核SVM,但FM的参数更少,计算效率更高,尤其是在处理稀疏数据时。 应用场景方面,推荐系统是FM的主要战场,用户可能对CTR预估比较熟悉,这里可以举例子说明,比如用户点击率预测中,用户的特征和物品的特征组合起来,FM能有效捕捉这些交互。另外,在广告推荐或者电商推荐中,用户的历史行为和物品属性结合,FM都能发挥优势。 可能用户还会关心FM的数学公式,这里需要简单描述下。FM的模型方程包括线性部分和特征交互部分。线性部分就是各个特征的权重相加,而特征交互部分则是所有特征两两组合的内积之和。不过这里要注意,用户可能不需要太复杂的公式推导,重点在于直观理解。 最后,总结下FM的优势:处理高维稀疏数据、自动学习特征交互、计算高效。这些点需要简明扼要地提出来,帮助用户快速抓住重点。可能还需要提到FM的变体,比如FFM(场感知因子分解机),但根据用户的问题,可能暂时不需要深入
评论 51
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

alw_123

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值