机器学习
文章平均质量分 74
冰鋒
Knowledge will give you power, but character respect
展开
-
机器学习之概率题
1.简单题投一个骰子,各个数字的概率都是1/6。 问投的数字6的期望次数。很显然,这个题的答案是E=1/(1/6)=6;具体计算如下:分成两部分(1)当前状态下有1/6的概率投出数字6,投掷次数就是1/61;(2)5/6的概率投掷出其他数字,那么需要重现再投E次,才能得到数字6,投掷次数是5/6(1+E).因此,总的式子就是 E= 1/61+5/6*(1+E) , 解得:E=6。2.进阶题抽到R的概率2/3,抽到S的概率是1/3,那么连抽RRR后必抽到S的期望次数,即问抽n次后,E(S)原创 2020-07-13 17:09:46 · 1003 阅读 · 0 评论 -
FM之TensorFlow矩阵形式的训练
文章目录1. FM简单推导2. 矩阵形式参考文献1. FM简单推导FM (factor machine)算法是有监督的机器学习算法,可以用来分类和回归,一般用来做CTR预估。FM算法的亮点是提出了一种n个特征组合的方式:y^=w0+∑i=1nw1x+∑i=1n−1∑j=i+1nWi,jxixj \hat y =w_0 +\sum_{i=1}^{n} w_1x+\sum_{i=1}^{n-1...原创 2020-03-29 16:54:39 · 464 阅读 · 0 评论 -
矩阵求导数小结
文章目录原文 矩阵求导法法则矩阵对矩阵求导转载 2019-10-29 20:54:23 · 379 阅读 · 0 评论 -
小样本学习(few-shot learning)小结及其在推荐系统应用
few-shot learningmeta learningMAML recommender systemscold-start原创 2019-10-29 20:02:24 · 2824 阅读 · 0 评论 -
AUC直观理解
文章目录AUC理解1. AUC 是什么?2. 如何计算AUCROC曲线的简单画法:AUC理解1. AUC 是什么?相信这个问题很多玩家都已经明白了,简单的概括一下,AUC(are under curve)是一个模型的评价指标,用于分类任务。那么这个指标代表什么呢?这个指标想表达的含义,简单来说其实就是随机抽出一对样本(一个正样本,一个负样本),然后用训练得到的分类器来对这两个样本进行预测,预...原创 2019-10-11 22:15:42 · 563 阅读 · 0 评论 -
各种高斯分布
文章目录一维高斯分布冯·米塞斯分布(von Mises distribution)多维高斯分布混合高斯分(GMM 多个高斯核,归一化)复合型分布(卷积操作)密度函数乘积形式参考文献:一维高斯分布冯·米塞斯分布(von Mises distribution)指一种圆上连续概率分布模型,它也被称作循环正态分布(circular normal distribution)。多维高斯分布...原创 2019-04-23 21:25:31 · 4614 阅读 · 0 评论 -
两个高斯分布乘积的推导及解释,BPMF 公式推导
1. 两个高斯分布的乘积2. BPMF 公式推导 两个高斯分布乘积服从高斯分布 BPMF模型中公式推导 高斯先验+ 高斯似然=高斯后验分布 然而,很多时候, 化简成 标准的形式是困难的。 本文考虑从一阶导数、二阶导数角度获得参数μ,Λ=1σ2μ,Λ=1σ2\mu,\Lambda=\frac{1}{\sigma^2}.1. 两个高斯分布的...原创 2018-03-31 17:59:13 · 29059 阅读 · 13 评论 -
偏差bias、方差 variance
回顾降低泛化误差 机器学习算法中,我们主要目的是同时降低模型的偏差和方差;然而,真实情况是我们不能同时做到,只能折中。回顾 误差来源: bias:测试集中的很多点并没有表达出来,bias很大; variance:选用的测试集数据与真实的数据分布不一致,导致variance大; 偏差: 描述了数据的表达能力,图一显示,弱分类器的表达能力弱,造成翻译 2018-03-10 11:34:22 · 470 阅读 · 1 评论 -
PCA方法,自编码模型(AE,SAE,DSAE等)
PCAAESAEDAECAESDAEVAE 自编码模型,是非监督方法,能够完成特征的压缩和提取; PCA是线性降维方法,是自编码模型的基础;1. PCA PCA 是主成分分析方法,主要是用来数据预处理,降低维度,提取关键的特征(去除冗余的特征); 首先回顾一下协方差:协方差反应出两两维度之间的关联,越大越关联; cov(X,Y)=E[(X−E(X))(Y−E原创 2017-12-13 19:41:48 · 8838 阅读 · 0 评论 -
采样方法
蒙特卡洛求定积分直接采样接受-拒绝采样重要性采样吉布斯采样参考文献 采样方法,在机器学习中被广泛应用;从总体数据中,抽取代表性样本的过程即为采样过程; 根据需要,选择合适的采样方法;另外Gibbs在参数估计的过程中也是被广泛应用; 蒙特卡洛求定积分1.一个不规则的区域的面积计算;此时,可以通过投点法进行计算: 划定一个区域,然后向区域内投点,落在不规则区域内的原创 2017-12-04 21:27:20 · 1127 阅读 · 0 评论 -
topic model (LSA、PLSA、LDA)
Topic模型概要: LFM(依赖于矩阵分解) LSA(LSI)(SVD分解) PLSI(EM算法优化,频率学派,参数未知但固定) LDA(在PLSA基础上加上贝叶斯框架,α\alpha, β\beta ~dirichlet分布,分别作为主题-文档和词-主题的先验分布;贝叶斯学派的特点是参数是随机变化的,但是服从某个分布,不断的学习新的知识,形成后验)介绍: LFM、原创 2017-07-11 21:06:04 · 6865 阅读 · 0 评论 -
稀疏结构模型——套索模型、组套索、重叠组套索模型
普通套索模型1 线性套索模型组套索模型重叠组套索模型其他 本文简单介绍这几种套索模型(Lasso)的概念,推导到后期再研究补充; 这种模型的功能:实现稀疏特征的选择和模型参数的估计;1 普通套索模型1.1 线性套索模型Y=XW+bY=XW+b 则: argminW12||XW−Y||22+λ||W||1\arg \min_{W} \frac{1}{2} ||XW-Y||_2^原创 2017-10-29 19:54:59 · 4181 阅读 · 0 评论 -
拉格朗日乘子法、罚函数法、乘子罚函数法
拉格朗日乘子法1 无约束问题2 等式约束问题3 不等式约束问题KTT条件罚函数法1 定义2 内罚函数法3 外罚函数法增广拉格朗日乘子法1 定义2 求解 本文简单总结一些相关概念,具体证明以后再补充; 1. 拉格朗日乘子法 2. 罚函数法:外罚函数与内罚函数法 3. 增广拉格朗日乘子法1. 拉格朗日乘子法1.1 无约束问题无约束问题,定义为 minf(x)\原创 2017-10-24 14:14:56 · 43564 阅读 · 1 评论 -
信息熵 交叉熵 相对熵 条件熵
根据香农公式,信息量等于log(1p)log(\frac{1}{p}); 交叉熵常作为机器学习中的损失函数。 信息熵 熵的本质是信息量的期望: H(p)=∑ip(i)∗log(1p(i)=−∑ip(i)∗log(p(i)H(p)=\sum_{i} p(i)*log(\frac{1}{p(i)}\\ =-\sum_{i} p(i)*log({p(i)} 其中,p 是真实的分原创 2017-08-18 10:24:06 · 1727 阅读 · 0 评论 -
推荐系统总结MF->PMF->CTR->CDL->CNN
推荐系统总结推荐系统总结数据集分析矩阵分解MF基于概率的矩阵分解PMF扩展篇标签推荐 首先进行数据集的分析,然后 介绍矩阵分解方法(MF)、基于概率的矩阵分解(PMF); 在此基础上介绍扩展方法:社交网络、隐语义模型、深度学习(CDL、CNN等); 最后介绍标签推荐方法。1.数据集分析以movieLens为例,介绍一下现有数据集所包含信息:评分信息 userID,it原创 2017-07-22 09:47:31 · 15642 阅读 · 14 评论