冰鋒-CSDN博客

原创机器学习之概率题

1.简单题投一个骰子，各个数字的概率都是1/6。问投的数字6的期望次数。很显然，这个题的答案是E=1/(1/6)=6;具体计算如下：分成两部分（1）当前状态下有1/6的概率投出数字6，投掷次数就是1/61；（2）5/6的概率投掷出其他数字，那么需要重现再投E次，才能得到数字6，投掷次数是5/6(1+E).因此，总的式子就是 E= 1/61+5/6*(1+E) ，解得：E=6。2.进阶题抽到R的概率2/3，抽到S的概率是1/3，那么连抽RRR后必抽到S的期望次数，即问抽n次后，E(S)

2020-07-13 17:09:46 1022

原创 FM之TensorFlow矩阵形式的训练

文章目录1. FM简单推导2. 矩阵形式参考文献1. FM简单推导FM （factor machine）算法是有监督的机器学习算法，可以用来分类和回归，一般用来做CTR预估。FM算法的亮点是提出了一种n个特征组合的方式：y^=w0+∑i=1nw1x+∑i=1n−1∑j=i+1nWi,jxixj \hat y =w_0 +\sum_{i=1}^{n} w_1x+\sum_{i=1}^{n-1...

2020-03-29 16:54:39 466

原创 Anaconda安装及多用户配置

文章目录添加用户Anaconda 安装与conda管理添加用户1. 创建用户useradd -m -s /bin/bash lmm2. 设置密码passwd lmm3. sudo权限usermod -aG sudo lmm指定 Shell 为/bin/bashusermod -s /bin/bash lmm删除用户userdel -r lmm参考用户管理An...

2020-03-06 21:11:56 3089

转载矩阵求导数小结

文章目录原文矩阵求导法法则矩阵对矩阵求导

2019-10-29 20:54:23 380

原创小样本学习(few-shot learning)小结及其在推荐系统应用

few-shot learningmeta learningMAML recommender systemscold-start

2019-10-29 20:02:24 2831

原创 AUC直观理解

文章目录AUC理解1. AUC 是什么？2. 如何计算AUCROC曲线的简单画法：AUC理解1. AUC 是什么？相信这个问题很多玩家都已经明白了，简单的概括一下，AUC（are under curve)是一个模型的评价指标，用于分类任务。那么这个指标代表什么呢？这个指标想表达的含义，简单来说其实就是随机抽出一对样本（一个正样本，一个负样本），然后用训练得到的分类器来对这两个样本进行预测，预...

2019-10-11 22:15:42 564

原创各种高斯分布

文章目录一维高斯分布冯·米塞斯分布（von Mises distribution）多维高斯分布混合高斯分（GMM 多个高斯核，归一化）复合型分布（卷积操作）密度函数乘积形式参考文献：一维高斯分布冯·米塞斯分布（von Mises distribution）指一种圆上连续概率分布模型，它也被称作循环正态分布（circular normal distribution）。多维高斯分布...

2019-04-23 21:25:31 4629

转载 Poker Ⅱ 机械键盘使用说明书

Poker Ⅱ 机械键盘使用说明书备用 https://blog.csdn.net/afunx/article/details/74906041

2018-08-27 14:26:10 1754

原创两个高斯分布乘积的推导及解释，BPMF 公式推导

1. 两个高斯分布的乘积2. BPMF 公式推导两个高斯分布乘积服从高斯分布 BPMF模型中公式推导高斯先验+ 高斯似然=高斯后验分布然而，很多时候，化简成标准的形式是困难的。本文考虑从一阶导数、二阶导数角度获得参数μ,Λ=1σ2μ,Λ=1σ2\mu,\Lambda=\frac{1}{\sigma^2}.1. 两个高斯分布的...

2018-03-31 17:59:13 29071 13

翻译偏差bias、方差 variance

回顾降低泛化误差机器学习算法中，我们主要目的是同时降低模型的偏差和方差；然而，真实情况是我们不能同时做到，只能折中。回顾误差来源： bias：测试集中的很多点并没有表达出来，bias很大； variance：选用的测试集数据与真实的数据分布不一致，导致variance大；偏差：描述了数据的表达能力，图一显示，弱分类器的表达能力弱，造成

2018-03-10 11:34:22 472 1

原创 PCA方法，自编码模型（AE，SAE，DSAE等）

PCAAESAEDAECAESDAEVAE 自编码模型，是非监督方法，能够完成特征的压缩和提取； PCA是线性降维方法，是自编码模型的基础；1. PCA PCA 是主成分分析方法，主要是用来数据预处理，降低维度，提取关键的特征（去除冗余的特征）；首先回顾一下协方差：协方差反应出两两维度之间的关联，越大越关联； cov(X,Y)=E[(X−E(X))(Y−E

2017-12-13 19:41:48 8850

原创采样方法

蒙特卡洛求定积分直接采样接受-拒绝采样重要性采样吉布斯采样参考文献采样方法，在机器学习中被广泛应用；从总体数据中，抽取代表性样本的过程即为采样过程；根据需要，选择合适的采样方法；另外Gibbs在参数估计的过程中也是被广泛应用；蒙特卡洛求定积分1.一个不规则的区域的面积计算；此时，可以通过投点法进行计算: 划定一个区域，然后向区域内投点，落在不规则区域内的

2017-12-04 21:27:20 1131

原创稀疏结构模型——套索模型、组套索、重叠组套索模型

普通套索模型1 线性套索模型组套索模型重叠组套索模型其他本文简单介绍这几种套索模型（Lasso）的概念，推导到后期再研究补充；这种模型的功能：实现稀疏特征的选择和模型参数的估计；1 普通套索模型1.1 线性套索模型Y=XW+bY=XW+b 则： argminW12||XW−Y||22+λ||W||1\arg \min_{W} \frac{1}{2} ||XW-Y||_2^

2017-10-29 19:54:59 4185

原创联合Tag-Label的推荐方法：A Joint Approach to Label Classification and Tag Tecommendation

基本分类模型Tag-Label关联信息本文模型小结前文总结了推荐经典的推荐算法由于rating 信息与tag信息是并列性质的信息，所以通常情况下，我们都是单独的处理；标签推荐或者评分预测（利用分类方法）； CLARE：A Joint Approach to Label Classification and Tag Tecommendation 联合Tag与Label之间

2017-10-29 16:42:27 841

原创拉格朗日乘子法、罚函数法、乘子罚函数法

拉格朗日乘子法1 无约束问题2 等式约束问题3 不等式约束问题KTT条件罚函数法1 定义2 内罚函数法3 外罚函数法增广拉格朗日乘子法1 定义2 求解本文简单总结一些相关概念，具体证明以后再补充； 1. 拉格朗日乘子法 2. 罚函数法：外罚函数与内罚函数法 3. 增广拉格朗日乘子法1. 拉格朗日乘子法1.1 无约束问题无约束问题，定义为 minf(x)\

2017-10-24 14:14:56 43594 1

原创信息熵交叉熵相对熵条件熵

根据香农公式，信息量等于log(1p)log(\frac{1}{p})；交叉熵常作为机器学习中的损失函数。信息熵熵的本质是信息量的期望： H(p)=∑ip(i)∗log(1p(i)=−∑ip(i)∗log(p(i)H(p)=\sum_{i} p(i)*log(\frac{1}{p(i)}\\ =-\sum_{i} p(i)*log({p(i)} 其中，p 是真实的分

2017-08-18 10:24:06 1730

原创推荐系统总结MF->PMF->CTR->CDL->CNN

推荐系统总结推荐系统总结数据集分析矩阵分解MF基于概率的矩阵分解PMF扩展篇标签推荐首先进行数据集的分析，然后介绍矩阵分解方法（MF）、基于概率的矩阵分解（PMF）；在此基础上介绍扩展方法：社交网络、隐语义模型、深度学习（CDL、CNN等）；最后介绍标签推荐方法。1.数据集分析以movieLens为例，介绍一下现有数据集所包含信息：评分信息 userID，it

2017-07-22 09:47:31 15646 14

原创 topic model (LSA、PLSA、LDA)

Topic模型概要： LFM（依赖于矩阵分解） LSA(LSI)（SVD分解） PLSI（EM算法优化，频率学派，参数未知但固定） LDA（在PLSA基础上加上贝叶斯框架，α\alpha, β\beta ~dirichlet分布,分别作为主题-文档和词-主题的先验分布；贝叶斯学派的特点是参数是随机变化的，但是服从某个分布，不断的学习新的知识，形成后验）介绍： LFM、

2017-07-11 21:06:04 6865

lmm6895071的专栏