自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

Marcus_Bob's Blog

及时当勉励,岁月不待人~欢迎来到我的小窝。

原创 Equalization Loss论文小结(CVPR2020)

接上一篇 BAGS小结(CVPR2020 Oral Paper) ​ 今天继续分享一篇有意思的paper,关于长尾分布下的目标检测问题。 Code Equalization Loss for Long-Tailed Object Recognition 该方法主要关注large-scale目标检测...

2020-08-07 00:01:28 48 0

原创 C++知识点总结

1.c和c++的区别是什么? 程序 = 数据结构+算法.c语言是面向过程的,面向过程就是分析出解决问题的步骤,然后用函数将其实现,使用时依次调用. 程序= 对象+消息.c++是面向对象的,c++面向对象是将构成问题的事物分解成各个对象,每个对象完成在解决整个问题中的行为.主要特点是类,封装,继...

2020-08-03 15:33:50 40 0

原创 Overcoming Classifier Imbalance for Long-tail Object Detection with Balanced Group Softmax(CVPR20)

论文 代码 近几年,关于long-tailed或imbalanced problem在各个领域都受到持续关注,cvpr、iccv等会议也一直有关于相关问题的topic。最近,偶然读到了几篇关于解决该问题的比较有意思的文章,于是就简单记录一下。这篇文章BAGS是针对object detection中...

2020-08-03 14:54:23 45 0

原创 深入探寻《Self-Attentive Sequential Recommendation》ICDM‘18
原力计划

本文我们主要致力于解决以下几个问题: 本文的motivation/contribution是什么? 实验细节以及实验效果如何? 具体的应用场景? 本文存在什么不足? 在本文的最后,我将针对以上问题简单谈谈自己的拙见,欢迎大家一起在评论区留言谈论。 言归正传,带着上面四个问题,让我们一起探寻《...

2020-07-11 00:16:58 368 0

原创 最近邻搜索神器——一文读懂局部敏感哈希LSH原理
原力计划

什么是LSH? LSH主要用来解决高维空间中点的近似最近邻搜索问题,即Approximate Nearest Neighbor(ANN)。 在实际的应用中我们所面对的数据是海量的,并且有着很高的维度。在对数据的各种操作中,查询操作是最常见的一种,这里的查询是指输入一个数据,查找与其相似的数据,那么...

2020-07-07 23:00:05 101 0

原创 Attention Is All You Need论文详解与理解
原力计划

研究背景、动机 深度学习做NLP问题的方法,大多基本上是先将句子分词,然后将每个词转化为对应的词向量序列,于是每个句子就都对应一个词嵌入矩阵X=(x1,x2,...,xt)X=\left(x_1,x_2,{...,x}_t\right)X=(x1​,x2​,...,xt​),其中xix_ixi​代...

2020-07-03 20:19:27 107 0

原创 Variational Inference with Normalizing Flows 论文小结
原力计划

变分推断中,用于近似的后验分布的选择是变分推断的核心问题。大多数的变分推断的应用为了进行高效的推断都聚焦于简单的后验近似族,比如mean-field(平均场)或者简单的结构化近似。这一限制极大的影响变分推断方法的质量和性能表现。本文提出了一种新的方法来指定灵活的,任意复杂的和可伸缩的近似后验分布(...

2020-06-24 23:06:22 137 0

原创 小白学变分推断(2)——变分推断改进
原力计划

在上一篇系列文章小白学变分推断(1)——变分推断概述中,我们通过对ELBO引入条件概率公式,进一步化简得到: ELBO=Eq[log p(x∣z)]−KL(q(z)∣∣p(z)) ELBO = E_q[log\ p(x|z)] - KL(q(z)||p(z)) ELBO=Eq​[log&...

2020-06-24 22:57:07 95 0

原创 小白学变分推断(1)——变分推断概述
原力计划

变分推断 (Variational Inference, VI) 在概率机器学习问题中,其一个中心任务是在给定观测数据变量X的条件下,计算潜在变量Z的后验概率分布P(Z∣X)P(Z|X)P(Z∣X): [ P(Z|X) = \frac{P(X,Z)}{p(X)} ] 但是这对于实际应用中的许多模型...

2020-06-24 22:09:31 167 0

原创 Easy Algorithms系列——详解递归与分治
原力计划

写在前面: 嗨,大家好。欢迎各位有缘人来到我的博客,这里是Easy Algorithms (EA) 系列第一弹。之所以写这个专栏,完全是为了回顾和整理自己的算法知识。本科四年,我大概搞了三年半的算法竞赛,通过自己的不懈努力,还算取得了一丢丢丢丢小小的成就。实话实说,我是从大一下学期才接触算法竞赛的...

2020-06-24 18:04:57 117 0

原创 Black Box Variational Inference论文小结
原力计划

变分推断已经成为近似复杂模型后验分布的一种有效且广泛的方法。对于特定的模型,如果我们可以将其ELBO期望写成解析解的形式(比如指数家族分布,例如高斯分布),这种情况下我们可以采用变分推断的一般方法进行优化求解。然而对于更一般的模型和任意的变分分布,普通的变分推断方法就无法进行有效求解了.针对不同的...

2020-05-23 01:07:04 207 0

原创 deeplearning.ai 改善深度神经网络(正则化、优化、mini-batch等)附代码作业答案
原力计划

一、初始化 1.为什么神经网络的所有参数不能全部初始化为0>? 若w初始化为0 ,很可能导致模型失效,无法收敛。也就是说如果我们初始将所有的w初始化为0,那么进行前向传播时每一层得到的值都是一样,这样一来当我们使用反向传播时,传回的梯度也是一样的,这就导致了我们更新参数后w还是一样的,这就使...

2020-05-12 17:02:18 231 0

原创 简单谈谈神经网络中的梯度消失、爆炸原因及解决办法
原力计划

为什么要使用梯度更新规则? 我们先来简单说一下梯度小时的根源–深度神经网络和反向传播。目前深度学习方法中,深度神经网络的发展造就了我们可以构建更深层的网络完成更复杂的任务,深层网络比如深度卷积网络,LSTM等等,而且最终结果表明,在处理复杂任务上,深度网络比浅层的网络具有更好的效果。但是,目前优化...

2020-05-09 21:05:22 198 0

原创 简单聊聊Long Short Term Memory Network (LSTM)和 Gated Recurrent Unit (GRU)两种强大的RNN变体
原力计划

上一篇关于RNN的文章最后,我们提到过由于梯度消失和梯度爆炸问题,使得RNN很难处理长距离的依赖。本文我们介绍两种改进后的RNN:LSTM(Long Short Term Memory Network)和Gated Recurrent Unit(GRU)。它们成功的解决了原始RNN的缺陷,成为当前...

2020-05-07 17:10:13 295 0

原创 什么是RNN?一文看懂强大的循环神经网络(Recurrent Neural Network, RNN)
原力计划

循环神经网络(Recurrent Neural Network,RNN)是一类用于处理序列数据的神经网络。所谓序列数据,即前面的输入和后面的输入是有关系的,如一个句子,或者视频帧。就像卷积网络是专门用于处理网格化数据XXX(如一个图像)的神经网络,循环神经网络是专门用于处理序列x(1),…,xmx...

2020-05-06 23:27:56 280 0

原创 什么是GoogLeNet?一文看懂CNN经典模型GoogLeNet 从Inception v1到v4的演进
原力计划

上一次我们谈到了CNN经典模型VGGNet,今天我们来简单聊聊比VGG更强大的GoogLeNet。 为什么有GoogLeNet? 2014年,GoogLeNet和VGG是当年ImageNet挑战赛(ILSVRC14)的双雄,GoogLeNet获得了第一名、VGG获得了第二名,这两类模型结构的共同...

2020-05-06 23:14:11 279 0

原创 什么是VGG?简单谈谈CNN经典模型VGGNet
原力计划

VGGNet探索了卷积神经网络的深度与其性能之间的关系,成功地构筑了16~19层深的卷积神经网络,证明了增加网络的深度能够在一定程度上影响网络的最终性能,使得错误率大幅下降,同时拓展性又很强,迁移到其他图片数据上的泛化性也非常好。到目前为止,VGG仍然被用来提取图像特征。 VGGNet可以看成是加...

2020-05-05 16:56:35 981 0

原创 还不知道什么是卷积神经网络CNN?一文读懂CNN原理附实例
原力计划

1.什么是神经网络? 这里的神经网络也指人工神经网络(Artificial Neural Networks,简称ANNs),是一种模仿生物神经网络行为特征的算法数学模型,由神经元、节点与节点之间的连接(突触)所构成,如下图: 每个神经网络单元抽象出来的数学模型如下,也叫感知器,它接收多个输入(x...

2020-05-04 22:25:57 2065 0

原创 Extreme Learning to Rank via Low Rank Assumption论文解读
原力计划

在推荐系统和网页搜索中为数十万的用户执行ranking是很常见的。学习单一的ranking function不可能捕捉所有用户的易变性,然而为每个用户学习一个ranking function 是很耗时的,同时也需要来自每个用户的大量数据。 为了解决这个问题,本文作者提出了Factorization...

2020-05-01 23:29:05 215 0

原创 KDD Cup 2020 Challenges for Modern E-Commerce Platform: Debiasing 简单分享附代码(phase 0-6 0.463+)
原力计划

参赛链接 一年一度的KDD大赛又开始了,这个比赛是真的火爆…小白也是头一次玩这个,确实体会和学到了很多东西,这真的是从学术研究到工程实现思维的一种锻炼。 题目: 简单总结下题目,由于自己主要是关注数据挖掘与推荐的,所以比较关注推荐这道题目。先列出所有题目链接,然后重点说一下推荐的题目。 KDD20...

2020-04-28 00:35:33 2057 1

转载 无痛学会分解机(Factorization Machine,FM)算法总结

FM(Factorization Machine)主要是为了解决数据稀疏的情况下,特征怎样组合的问题。此算法的主要作用是可以把所有特征进行高阶组合,减少人工参与特征组合的工作。FM只需要线性时间复杂度,可以应用于大规模机器学习。 预测任务 模型方程 回归和分类 学习算法 注:上面...

2020-04-27 11:38:45 239 0

原创 一文读懂开创性文章——贝叶斯个性化排序(BPR)
原力计划

BPR绝对可以算是推荐系统领域的开创性文章之一,对于经典我们一定要好好体会和理解。BPR是一个基于pairwise的算法,在BPR之前大部分方法都基于pointwise的方法,这存在一定的问题,而BPR很好的缓解了这个问题(可以先去查阅下Learn to rank方法)。 在有些推荐场景中,我们是...

2020-04-27 00:14:40 385 0

原创 数据挖掘竞赛黑科技——对抗验证(Adversarial validation)
原力计划

通常情况下,我们一般都会使用交叉验证来作为评估模型的标准,来选择我们最后的模型。但是在一些数据挖掘竞赛中,数据集一般分为训练集合测试集,国内比赛可能根据比赛阶段划分多个测试集,由于数据集采样和分布的原因导致训练集和线上测试集可能存在分布不一致的情况,这时候CV无法准确的评估模型在测试集上的效果,导...

2020-04-24 14:17:40 312 0

原创 Metric-Factorization Recommendation beyond Matrix Factorization论文干货
原力计划

原文链接 open source 本文主要对度量分解这篇论文做一个翻译+总结. Abstract 被我们熟知的基于矩阵分解(MF)的推荐系统得到了广泛的研究,并已成为最受欢迎的个性化推荐技术之一.然而基于內积的矩阵分解不满足不等式属性(CML中我们提到过的三角不等式),这可能限制了midel的表达...

2020-04-23 22:10:31 172 0

原创 一文详解先验概率、后验概率、最大似然估计(MLE)、最大后验估计(MAP)
原力计划

概率与统计 概率和统计是两个看似相近的概念,但是其实研究的问题刚好相反。 概率研究的问题是,已知一个模型和参数,怎么去预测这个模型产生的结果。也就是根据参数和模型去推数据。 统计则刚好相反,统计是我有一堆数据,我怎么利用这堆数据去推测模型和参数。 概率是已知参数和模型,去推测结果;而统计是已知很多...

2020-04-21 22:57:38 380 3

原创 Collaborative Metric Learning(CML)论文总结
原力计划

论文 问题介绍 度量学习算法通过学习生成什么样的距离度量来帮助解决数据间的重要关系。 传统的CF(主要以MF,TF为主)的方法只能学习到user-item之间的潜在关系而无法学习到user-user,item-item的Similarity。本文作者将传统的CF与Metric Learning相结...

2020-04-20 23:45:21 172 0

原创 A Scalable Probabilistic Tensor Factorization(SPTF)论文小结
原力计划

SPTF具体来说还是基于张量分解TF的一种方法,同时也还是基于score learning的。 介绍 用户历史行为可以被分为两种类型: 显示反馈(explicit feedback)和隐式反馈(implicit feedback). explicit feedback包括用户关于他们感兴趣的ite...

2020-04-20 23:39:06 112 0

原创 一文详解梯度下降法,牛顿法,拟牛顿法
原力计划

最优化是一种数学方法,它是研究在给定约束之下如何寻求某些因素,以使某一些指标达到最优的一些学科的总称.在机器学习中,大部分的机器学习算法的本质都是建立优化模型,通过最优化方法对目标函数(损失函数)进行优化,从而训练出最好的模型.梯度下降法,牛顿法和拟牛顿法是求解无约束最优化问题的常用方法. 梯度...

2020-04-13 14:15:16 191 0

原创 深度学习数学基础总结
原力计划

本文是对深度学习、机器学习中用到的数学基础知识的一点总结。 高等数学 微分 微分是对函数的局部变化的一种线性描述.微分可以近似的的描述当函数自变量的变化率取值足够小 时,函数的值是怎样变化的(用直线代替曲线)。比如,x的变化量Δx\Delta xΔx趋于0时,记做微元dx。 Δy=f(x0+Δx)...

2020-04-13 14:11:25 244 0

原创 集成学习(ensemble learning)干货系列(3)——Boosting方法详解
原力计划

提升,Boosting是另一大类成熟的集成学习方法,在众多机器学习任务上取得了优异的成绩;其基本思想是**是否可以将一个弱学习器,学习增强成一个强学习器(分类器)。** 它通过改变训练样本的权重,学习多个分类器,并将这些分类器进行线性组合,提高分类的性能。

2020-04-12 18:36:52 169 0

原创 集成学习(ensemble learning)干货系列(2)——随机森林(Bagging)
原力计划

Bootstrap aggregating 简称**Bagging**,其中bootstrap是指基学习器的训练样本是对原始训练数据的**自助采样(bootstrap sampling)**得到,aggregating 是指集成学习器的预测结果为多个训练好的基学习器的预测结果的总和。本文主要介绍基...

2020-04-10 23:32:46 965 0

原创 集成学习(ensemble learning)干货系列(1)——集成学习概述

**集成学习:简单概括就是通过某种合理的方式将多个简单的基学习器结合起来,以期获得更准确,更高效的模型。** 对某些机器学习任务,有的时候我们使用单个模型已经调到最优,很难再有改进。这时候为了提高性能,往往会用很少量的工作,组合多个基模型(基学习器),使得系统性能提高。 如果基学习器是从某⼀种学习...

2020-04-09 15:24:57 157 0

原创 一篇文章弄懂非线性分类——最近邻分类

非线性分类——最近邻分类算法

2020-04-07 16:15:55 112 0

原创 一篇文章快速学会决策树(ID3,C4.5, CART等)
原力计划

决策树,英文: Decision Tree, 是一种基本的分类与回归方法。决策树模型呈树形结构,它可以认为是一个if-then的规则集合,也可以认为是**定义在特征空间与类空间上的条件概率分布**。决策树模型的主要特点就是具有可读性、分类速度快,通常包括三个步骤**特征选择、决策树的生成和决策树的...

2020-04-07 15:38:10 170 0

原创 张量分解——CP分解与Tucker分解详解
原力计划

关于张量分解一些简单的介绍,可以看我的这篇 张量的CP分解模型 一般而言,给定一个大小为n1×n2×n3n_1 \times n_2 \times n_3n1​×n2​×n3​的张量X\mathcal{X}X,其CP分解可以写成如下形式,即 X≈∑r=1RA(:,r)⊗B(:,r)⊗C(:,r)\...

2020-03-21 22:48:26 1044 0

原创 LeetCode 42. Trapping Rain Water
原力计划

传送门 题意 给你nnn个非负整数,表示围栏的高度(宽度都为1),问你如果下雨一共能储多少水?如图: Input: [0,1,0,2,1,0,1,3,2,1,2,1] Output: 6 思路 Dp 可以发现对于每一个iii来说,它能储水的高度显然取决于它左面和右面最高的围栏高度之间的最小...

2020-03-21 22:38:27 53 0

原创 LeetCode String to Integer (atoi) (正则表达式)

传送门 题意: 很easy的一道题啊,就是实现一些c语言atoi()将字符转化为integer的函数. ##思路: 按照题目要求,然后注意下细节其实就可以了. class Solution: def myAtoi(self, _str): _str = _str.stri...

2020-03-21 22:36:11 61 0

原创 LeetCode 48. Rotate Image

传送门 题意: 给你一个 n×nn \times nn×n的二维矩阵,让你在使用O(1)O(1)O(1)的空间复杂度的情况下,将该矩阵进行顺时针旋转(clockwise)。 思路: clockwise 一个简单找规律。先将矩阵倒置,在按对角线对称即可。 """ *...

2020-03-21 22:35:27 56 0

原创 LeetCode Regular Expression Matching(动态规划)

传送门 题意: 给你两个字符串s和p,让你判断两个字符串是否可以完全匹配. 匹配采用正则化匹配的方式,’.‘可以匹配任意字符,’*'表示前面的一个字符匹配0次或多次. 思路: 比较好想的一种方法就是递归. 首先p中若没有’.‘和’’,那么只需要看s和p是否完全一样即可. 其次若p中有’...

2020-03-21 22:33:43 47 0

原创 深度学习——--残差网络(ResNet)详解

为什么会有残差网络? 网络越深准确率越高吗? 一说起深度学习,自然也就想到了它非常显著的特点"深",通过很深层次的网络实现准确率非常高的图像识别、语音识别等。因此,我们大家很自然就想到:深的网络肯定比浅的网络效果好,如果要进一步提升模型的准确率,最直接的方法就是把网络设计的更深...

2020-03-21 22:29:15 144 0

提示
确定要删除当前文章?
取消 删除