机器学习
水母君98
SDU数媒,HKUST大数据
展开
-
machine learning学习笔记(四)逻辑回归
在前面已经学习了线性回归,但是线性回归的应用场景往往是,比如:知道你的身高,你的收入,你的颜值分,你的家底,问你未来能交到的对象的总体评分是多少。我们用离散的数据构造了一个连续的模型,并以此把重心放在“预测数值”上。但是当我们遇到:已知西瓜的颜色,重量,花纹等信息,问是不是好瓜?答案必然是:yes / no.所以逻辑回归就引入了这样的问题,虽然叫做回归,但实际却是在解决分类问题。可是我们拟合出来的图像都是一些线条可怎么进行逻辑性回答呢?y=1,if x>0y=0.5 if x=0y=0原创 2020-10-05 15:40:43 · 103 阅读 · 0 评论 -
machine learning学习笔记(二)多元线性回归
多元线性回归 Linear Regression线性回归,就是给在平面图上给出一组数据,我想找到一条穿过他们中间的直线,使得每个点到这条直线的距离的和都能最小。如果是多元线性回归,那么意味着将不再是普通的y=wx+b问题,而是y=w1x1+w2x2+…+b的问题。但是,拟合必然有损失,我们定义以下损失函数↓均方误差,顾名思义又算方差,又算平均值。展开来写:最后一步实际上是求偏导。要求这个式子的最小值,也就是他的最小值:我们在高中学过,求最大最小值,就要求导数=0.所以对w进行偏原创 2020-10-02 16:32:36 · 229 阅读 · 0 评论 -
machine learning学习笔记(三)正则化
为什么要正则化?就是为了解决过拟合问题。为啥过拟合?有部分原因就是x1,x2,x3…一大堆特征太多了(一个x代表一个特征)假设有一个只有两个特征x1,x2的模型算出来的非线性方程是↓把模型得到的每个项的参数写成一个矩阵ww0不计入,一个常数,写在外面就行。没有正则化调整之前的误差方程是:引入之后:λ≥0是提前选择的控制强度的超参数。说人话就是,减重。给谁减重?给那些次幂很大,其实没那么重要(甚至导致过拟合)的项加上一个惩罚项来中和它的影响。假设一组数据集算出来的模型有9次原创 2020-10-02 17:05:44 · 163 阅读 · 0 评论 -
machine learning学习笔记(一):信息熵,条件熵,交叉熵,KL散度,互信息
琴生不等式 Jensen由数学归纳法证明对损失函数 Logarithmic functionentropy 信息熵log底数一般为2.信息熵代表着X不确定程度。原创 2020-10-02 13:58:36 · 904 阅读 · 1 评论