Linear Regression

最新推荐文章于 2020-07-22 23:52:06 发布
最新推荐文章于 2020-07-22 23:52:06 发布
阅读量186 收藏
点赞数
分类专栏： 机器学习 Machine Learning based on online resources
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/niukai1768/article/details/80400346
版权

Loss Function

  • 理论基础：中心极限定理
    • 误差符合高斯分布

这里写图片描述
- 公式推导
这里写图片描述
这里写图片描述
解释了为什么损失函数是这个形式

模型求解

意义：理论上推导出模型可解，但对矩阵求导，计算量很大，实际不采用

对目标函数求梯度
这里写图片描述

使梯度为0
这里写图片描述

为什么能添加扰动能防过拟合？

通过实践可得，当n维特征向量映射成更高维的特征时，最后求解得到的参数值都很大，因此希望在原loss function基础上添加关于参数的项，来作为对模型复杂度的惩罚
这里写图片描述

为什么加了扰动后一定可逆？

这里写图片描述

对新的目标函数求梯度

这里写图片描述

复杂度惩罚因子

LASSO：
- L2-norm：性能往往不错，但没有特征选择功能
- L1-norm：高阶系数接近于0，相当于进行了特征选择
- Elastic Net：L1-norm与L2-norm融合

感性解释：从实验出发，跑代码，当过拟合发生时，其系数很大，因此想把其系数也作为损失函数的一部分

帮助理解的解释：
拉格朗日乘子法，推导出L1-norm的形式
这里写图片描述

广义逆矩阵（伪逆）

这里写图片描述
这里写图片描述

模型优化

  • 批量梯度下降算法
    这里写图片描述
  • 随机梯度下降算法：支持在线学习
    这里写图片描述
  • mini-batch
云端潜行
关注
专栏目录
LinearRegression
03-27
PyTorch线性回归PyTorch实现线性回归 包括模型训练，保存，推理使用等 ...│ └── net_regression.py ├── tool │ ├── generate_data.py │ └── merge_csv.py ├── trainner.py └── util
深度学习下分类任务中L2 norm总结
weixin_38208912的博客
01-03 7610
什么是L2范数？ L2范数既欧式距离，表示向量的元素平方和再开方 ∥x∥2=∑i=1nxi2\Vert x \Vert_{2} = \sqrt{\sum_{i=1}^{n}x_{i}^{2}}∥x∥2​=i=1∑n​xi2​​ 为什么使用L2 norm？ 对于CNN的输出，各个特征的模长均不一样， l2 norm是强行把同个维度的特征归一化。经过L2 norm的数据都处于0到1之间，距离就变得有一...
LinearRegression.rar
06-03
在"LinearRegression"这个文件中，应该包含了实现上述过程的Python代码。这不仅有助于理解线性回归和反向传播的基本原理，还能锻炼编程和优化技巧。通过手动实现这些基本算法，你可以更好地掌握机器学习模型的内部...
Linear Regression_linearregression_stonehdc_
10-01
在这个资料包中，"Linear Regression_linearregression_stonehdc_" 提供了使用 MATLAB 编程语言实现线性回归的示例。 MATLAB 是一种强大的数学计算软件，广泛用于数值分析、信号处理和图像处理等领域。在机器学习和...
Linear Regression Analysis.pdf
10-27
"Linear Regression Analysis" Linear Regression Analysis是一本关于线性回归分析的专业书籍，书籍的主要内容是关于线性回归模型的理论基础、模型建立、参数估计、假设检验、模型诊断和模型应用等方面的内容。 ...
Cost function
niukai1768的专栏
05-22 3127
cost function的形式 cost function的推导满足以下过程： 1. 认为error 满足某个分布，写出样本点xi的样本的error 2. 认为样本点是相互独立的，推导出其对数似然函数 3. 求偏导，是得导函数为0，分离常数部分，得到误差的表达形式 e.g. 线性回归中关于MSE的推导：https://nk2000.github.io/2018/05/16/Linea...
函数间隔和几何间隔
niukai1768的专栏
10-26 1684
问题描述：求一个任意点，到一个超平面的距离 超平面表示 在线性代数中，一个超平面可以用下式表示  y(X)=WTX+w0\ y(\mathbf{X}) = \mathbf{W}^{T}\mathbf{X} + w0 y(X)=WTX+w0 证明W是超平面的法向量 在超平面上任取俩个点Xa，Xb。因为 y(Xa)=y(Xb)=0\ y(\mathbf{Xa}) = ...
Word Sense Disambiguation
niukai1768的专栏
09-11 1373
1 Introduction I build a basic bi-lstm model, bi-lstm + attention model and a multy task learning model describe in the paper and a model which Incorporates glosses information using memory network to...
XGBoost
niukai1768的专栏
05-22 1262
回顾 决策树的分类能力由叶子节点上的条件概率分布决定 决策树的内路径只决定了特征空间的划分情况，即给定一个样本xi，最终会落在哪个节点 思考： 提升的定义 提升的框架 思路：在构建好的k-1棵决策树的基础上，构建第k棵决策树 符号说明： 这里需要解释一下俩棵决策树的加权和的含义 权值a1,a2取值不同，首先决定了不同的特征空间的划分，统计后得到不同的条件...
模型评估
niukai1768的专栏
04-08 227
why use Training set 用于检查过拟合 对模型在一个独立数据集的表现 How分离训练集&测试集 sklearn版本 3.17 3.18 包引入 from sklearn import cross_validation from sklearn.model_selection import train_test_split 函数调用 right-alig
Neural Network
niukai1768的专栏
05-05 220
PerceptronExpressiveness（and，or，not，xor） and or not represent anything：可以表达由and，or，not组合成的任意逻辑表达式 e.g. XOR 结论： 1. 感知机是线性的 2. perceptron can represent anything：可以表达由and，or，not组合成的任意逻辑表达式Learning
Logistic Regression
niukai1768的专栏
05-22 184
模型定义 特征 x：m*n label y：m*1 不同的x, 参数对应一个不同的二项分布 这些二项分布可以通过统计求得 改进 不按照x是否相同，来统计其二项分布的分布律，而每一个样本点都看做一个独立二项分布 这样的特点就是这样的二项分布只有俩种，分别为 并且能合并表示为 目标函数——交叉熵 小目标：对于每一个样本点，分别求出一个分布，使得俩者分布差距最小 模...
数据分析（一）
niukai1768的专栏
07-22 176
label distribution 是一个不均衡的数据集，需要做数据预处理 Sentence length distribution 句子的长度也很极端，有很多的outliers，需要对过长的数据进行舍弃或者切割。
反向传播算法
niukai1768的专栏
08-07 165
反向传播算法的原理很简单，只涉及chain rule和求导，但是在实际编程中，需要考虑到向量化后，会涉及矩阵求导。矩阵的求导只是提供了理论支持，实际实现中又使用了额外的技巧。 资源总结： 首先观看李宏毅老师的Backpropagation课程，了解为什么这个算法取名为反向传播，怎么传播的 优点：例子详细，容易理解 视频地址：https://www.bilibili.com/v...
赛题理解
niukai1768的专栏
07-21 151
任务 这次任务是一个多分类问题。评测标准f1_score，不直接用准确率可能是为了在unbalance的数据集中，更好地评测模型 思路 特征抽取 DL Word2vec Glove Bert ML TF-IDF 分类器 SVM XGboost 数据分析 特征是由数字表示的，不能直接使用预训练模型，Bert==GG。最简单的特征抽取就是基于统计的TF-IDF，可以尝试自己训练Glove。 统计了一下label的分布，差距很大，鉴于评测用的是F1-score。就要对数据进行balance操
Decision Tree
niukai1768的专栏
05-05 121
RepresentationLearningExpressiveness（and，or，xor）size of hypothesis set 结论： - hypothesis space is very expressive because there’s lots of different functions that you can represent - should have some
AS SSD Benchmark
最新发布
11-11
硬盘测试工具
com.harmonyos4.exception.ScalabilityLimitationException.md
11-11
鸿蒙开发中碰到的报错，问题已解决，写个文档记录一下这个问题及解决方案
linear regression
05-10
Linear regression is a statistical method used to model the relationship between a dependent variable and one or more independent variables. It assumes that there is a linear relationship between the ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值