- 博客(12)
- 收藏
- 关注
RSS订阅原创 A NEW COEFFICIENT OF CORRELATION文献阅读
A NEW COEFFICIENT OF CORRELATION 实在是没有符合的标签
2022-06-25 16:36:00
506
1
原创 AdaBoost算法详解
《统计学习方法》——李航回顾上一篇讲的Gradient Boosting方法, 其中比较经典的就是用于分类的AdaBoost。其具体算法步骤如下：注：步骤(2)(b)中，计算得到eme_mem后需要判断其值是否小于0.5，如果是则继续下面的步骤，否则需要重启：数据的权值分布设为离散均匀分布，重新采样并训练基分类器。重启的原因很简单，因为 em>0.5e_m>0.5em>0.5时，权重 α<0\alpha<0α<0，这显然不是我们希望看到的。大体流程是.
2022-04-25 10:53:44
1333
原创 Gradient Boosting
最近听了李沐的课，总结下~梯度提升（Gradient Boosting）是Boosting方法中的一类方法，Boosting是一类旨在combine weak learners into one to reduce bias的方法。常见的 AdaBoost与GBDT 是 Gradient Boosting 方法中的两类方法，区别在于使用的损失函数不同。梯度提升算法步骤：初始化：residual=y,t=1residual=y,t=1residual=y,t=1,学习率η\etaη, 基学习器（ba
2022-04-21 21:31:32
471
原创 Lasso VS Ridge penalty在处理多重共线性问题中的效果
3. Lasso VS Ridge penalty旧活新整~ 顺便补充了一些细节原内容参考之前的帖子：https://blog.csdn.net/qq_43331366/article/details/122526317Lass: ∣β1∣+∣β2∣≤s|\beta_1|+|\beta_2|\le s∣β1∣+∣β2∣≤sRidge: β12+β22≤s\beta_1^2+\beta_2^2\le sβ12+β22≤s答案是后者能处理多重共线性，前者不能。我猜测是因为，当模型中有两
2022-04-21 20:49:48
448
翻译 GRU——学习笔记
注：以下文字包含少量个人理解成分，有误还请指出！https://zh-v2.d2l.ai/chapter_recurrent-modern/gru.html附上学习的内容链接文章目录门控循环单元GRU门控隐状态重置门和更新门候选隐状态隐状态从零开始实现导入数据集初始化模型参数定义模型训练与预测简洁实现小结门控循环单元GRU（开始堆砌）在循环神经网络中， 矩阵连续乘积可以导致梯度消失或梯度爆炸的问题。 下面我们简单思考一下这种梯度异常在实践中的意义：我们可能会遇到这样的情况：早期观测值
2022-01-31 17:33:41
622
原创 面试题目总结——待更
某互联网大厂的面试题目总结：Logistic回归的损失函数XGBoost的原理梳理L1惩罚和L2惩罚的区别，哪个能够处理多重共线性问题，为什么？（代码）删除列表中大于5的数字。要求是不允许创建新变量。慢慢整理：贴一张书上的理论：《统计学习方法》——李航对数似然函数取负号即得到损失函数Logistic回归的两种不同解释视角：隐变量回归：残差服从两点分布，响应变量为隐变量，当隐变量大于0，时y取值...
2022-01-17 21:54:48
299
原创 LARS最小角回归
参考书籍：The Elements of Statistical Learning算法：最小角回归将所有的自变量进行标准化处理，使得处理后是数据均值为0标准差为1. 初始化残差 r0=y−yˉ,β0=(β1,...,βp)′=0pr_0=y-\bar{y}, \beta^0=(\beta_1,...,\beta_p)'=\bold{0_p}r0=y−yˉ,β0=(β1,...,βp)′=0p.在所有自变量中，找与 r0r_0r0 最相关的 xjx_jxj . 记 λ0=1n∣<.
2021-11-21 22:30:31
300
原创 VAE原理详细解释（读书笔记）
文章目录背景基本思路VAE原理内容参考《深入浅出图神经网络》背景深度学习的优势在于自动学习特征，卷积神经网络将表示学习与任务学习结合起来，其利用图像标签进行有监督的学习，可以学习到有判别性的特征对图像进行分类。自编码器也是一种表示学习模型，但它没有利用标签信息进行监督，是一种无监督的学习模型，可以用于数据降维和特征提取。基本思路将输入映射到某个特征空间，再从该空间映射回输入空间中进行重构。其结构是由编码器和解码器组成，前者从输入数据提取特征，后者基于提取的特征重构输入数据。模型训练结束后，
2021-11-11 23:34:33
1891
原创 HMC——Hamiltonian Monte Carlo笔记
文章目录前言简介哈密顿系统介绍及方程推导应用到采样案例具体分析采样的具体步骤SGHMC前言课上没听懂，看了一些博客再结合老师的课件之后对一些符号更加迷糊了，于是本强迫症决定重新整理以下整个理解的思路。肯定有错误或者不足之处。欢迎指出，后续改正。简介Hamiltonian Monte Carlo (HMC) 算法，这是一种基于哈密顿力学（Hamiltonian mechanics）的抽样算法，它的效率比一般的MH算法要更高。通俗说就是更快达到逼近真实分布的采样。看图说话：(盗图)黑点是从真实分布获
2021-11-05 23:30:48
2810
原创 MCMC_Gibbs/MH采样的简单案例R代码实现
文章目录练习：用程序实现正态分布均值、方差的后验分布抽样。题目背景Gibbs抽样（Bayes公式推导）R代码实现μ\muμ的更新函数σ2\sigma^2σ2的更新函数主函数案例求解（补充）RCPP代码练习：用程序实现正态分布均值、方差的后验分布抽样。题目背景记Xi,i=1...,n{X_i,i=1...,n}Xi,i=1...,n来自一维正态N(μ,σ2)N(\mu,\sigma^2)N(μ,σ2)的独立同分布样本，μ\muμ具有先验分布N(a,b)N(a,b)N(a,b)，σ2\sigma^2σ
2021-10-29 12:41:56
6447
3
原创 EM算法推导以及在高斯混合模型中的应用（详细）
文章目录EM算法的导出EM算法的收敛性EM算法在高斯混合模型中的应用高斯混合模型高斯混合模型参数估计的EM算法算法步骤算法推导**以一维情形为例p=1**参考教材：《统计学习方法》第二版——李航EM算法的导出EM算法通过不断求解下界函数的极大值来逼近求解对数似然函数的最大。大致推导：设一个含有隐变量Z的概率模型，对应有观测数据Y和待求解参数θ\thetaθ。现在的目标是最大化关于参数θ\thetaθ的对数似然函数，即：L(θ)=logP(Y∣θ)=log∑ZP(Y,Z∣θ)=log(∑ZP
2021-10-20 16:42:41
353
5
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人