- 博客(648)
- 资源 (8)
- 收藏
- 关注
RSS订阅原创 简单聊聊Long Short Term Memory Network (LSTM)和 Gated Recurrent Unit (GRU)两种强大的RNN变体
上一篇关于RNN的文章最后，我们提到过由于梯度消失和梯度爆炸问题，使得RNN很难处理长距离的依赖。本文我们介绍两种改进后的RNN：LSTM(Long Short Term Memory Network)和Gated Recurrent Unit(GRU)。它们成功的解决了原始RNN的缺陷，成为当前比较流行的RNN，并在许多领域中成功应用。 Long Short Term Memory Netw...
2020-05-07 17:10:13
685
1
原创 什么是RNN？一文看懂强大的循环神经网络(Recurrent Neural Network, RNN)
循环神经网络(Recurrent Neural Network，RNN)是一类用于处理序列数据的神经网络。所谓序列数据，即前面的输入和后面的输入是有关系的，如一个句子，或者视频帧。就像卷积网络是专门用于处理网格化数据XXX（如一个图像）的神经网络，循环神经网络是专门用于处理序列x(1),…,xmx^{(1)},\dots,x^{m}x(1),…,xm的神经网络。正如卷积网络可以很容易地扩展到具有很...
2020-05-06 23:27:56
861
原创 什么是GoogLeNet？一文看懂CNN经典模型GoogLeNet 从Inception v1到v4的演进
上一次我们谈到了CNN经典模型VGGNet，今天我们来简单聊聊比VGG更强大的GoogLeNet。为什么有GoogLeNet?2014年，GoogLeNet和VGG是当年ImageNet挑战赛(ILSVRC14)的双雄，GoogLeNet获得了第一名、VGG获得了第二名，这两类模型结构的共同特点是层次更深了。VGG继承了LeNet以及AlexNet的一些框架结构，而GoogLeNet则做了...
2020-05-06 23:14:11
631
原创 什么是VGG?简单谈谈CNN经典模型VGGNet
VGGNet探索了卷积神经网络的深度与其性能之间的关系,成功地构筑了16~19层深的卷积神经网络,证明了增加网络的深度能够在一定程度上影响网络的最终性能,使得错误率大幅下降,同时拓展性又很强,迁移到其他图片数据上的泛化性也非常好。到目前为止,VGG仍然被用来提取图像特征。VGGNet可以看成是加深版本的AlexNet,都是由卷积层、全连接层两大部分组成。VGG特点先看一下VGG的结构图...
2020-05-05 16:56:35
3254
原创 还不知道什么是卷积神经网络CNN？一文读懂CNN原理附实例
1.什么是神经网络？这里的神经网络也指人工神经网络（Artificial Neural Networks，简称ANNs），是一种模仿生物神经网络行为特征的算法数学模型，由神经元、节点与节点之间的连接（突触）所构成，如下图：每个神经网络单元抽象出来的数学模型如下，也叫感知器，它接收多个输入（x1，x2，x3…），产生一个输出，这就好比是神经末梢感受各种外部环境的变化（外部刺激），然后产 生电信...
2020-05-04 22:25:57
2478
原创 Extreme Learning to Rank via Low Rank Assumption论文解读
在推荐系统和网页搜索中为数十万的用户执行ranking是很常见的。学习单一的ranking function不可能捕捉所有用户的易变性,然而为每个用户学习一个ranking function 是很耗时的,同时也需要来自每个用户的大量数据。为了解决这个问题,本文作者提出了Factorization RankSVM算法,该算法通过学习k个基础的函数,然后为将这k个ranking function进行...
2020-05-01 23:29:05
401
原创 KDD Cup 2020 Challenges for Modern E-Commerce Platform: Debiasing 简单分享附代码(phase 0-6 0.463+)
参赛链接一年一度的KDD大赛又开始了，这个比赛是真的火爆…小白也是头一次玩这个，确实体会和学到了很多东西，这真的是从学术研究到工程实现思维的一种锻炼。题目：简单总结下题目，由于自己主要是关注数据挖掘与推荐的，所以比较关注推荐这道题目。先列出所有题目链接，然后重点说一下推荐的题目。KDD2020Multimodalities RecallFairness in Recommender S...
2020-04-28 00:35:33
2764
4
转载 无痛学会分解机(Factorization Machine，FM)算法总结
FM(Factorization Machine)主要是为了解决数据稀疏的情况下，特征怎样组合的问题。此算法的主要作用是可以把所有特征进行高阶组合，减少人工参与特征组合的工作。FM只需要线性时间复杂度，可以应用于大规模机器学习。预测任务模型方程回归和分类学习算法注：上面最后一句话应该是"而gθ(x)g_{\theta}(x)gθ(x)则利用y^(x)−θhθ(x)\w...
2020-04-27 11:38:45
559
原创 一文读懂开创性文章——贝叶斯个性化排序(BPR)
BPR绝对可以算是推荐系统领域的开创性文章之一，对于经典我们一定要好好体会和理解。BPR是一个基于pairwise的算法，在BPR之前大部分方法都基于pointwise的方法，这存在一定的问题，而BPR很好的缓解了这个问题(可以先去查阅下Learn to rank方法)。在有些推荐场景中,我们是为了在千万级别的商品中推荐个位数的商品给用户,此时我们更关注的是对用户来说，哪些极少数商品在用户心中有...
2020-04-27 00:14:40
1032
原创 数据挖掘竞赛黑科技——对抗验证（Adversarial validation）
通常情况下，我们一般都会使用交叉验证来作为评估模型的标准，来选择我们最后的模型。但是在一些数据挖掘竞赛中，数据集一般分为训练集合测试集，国内比赛可能根据比赛阶段划分多个测试集，由于数据集采样和分布的原因导致训练集和线上测试集可能存在分布不一致的情况，这时候CV无法准确的评估模型在测试集上的效果，导致线上线下不统一，分数上不去。而缓解这一问题的黑科技，就是对抗验证Adversarial valida...
2020-04-24 14:17:40
1716
原创 Metric-Factorization Recommendation beyond Matrix Factorization论文干货
原文链接open source本文主要对度量分解这篇论文做一个翻译+总结.Abstract被我们熟知的基于矩阵分解(MF)的推荐系统得到了广泛的研究,并已成为最受欢迎的个性化推荐技术之一.然而基于內积的矩阵分解不满足不等式属性(CML中我们提到过的三角不等式),这可能限制了midel的表达并且可能导致次优解.本文中作者提出了度量分解,假定所有的users和items被embedding到...
2020-04-23 22:10:31
730
原创 一文详解先验概率、后验概率、最大似然估计(MLE)、最大后验估计(MAP)
概率与统计概率和统计是两个看似相近的概念，但是其实研究的问题刚好相反。概率研究的问题是,已知一个模型和参数,怎么去预测这个模型产生的结果。也就是根据参数和模型去推数据。统计则刚好相反,统计是我有一堆数据,我怎么利用这堆数据去推测模型和参数。概率是已知参数和模型,去推测结果；而统计是已知很多数据,去推模型和参数先验概率、后验概率、似然函数先验概率简单理解:在事件发生之前,根据以往的经...
2020-04-21 22:57:38
1462
3
原创 Collaborative Metric Learning(CML)论文总结
论文问题介绍度量学习算法通过学习生成什么样的距离度量来帮助解决数据间的重要关系。传统的CF(主要以MF,TF为主)的方法只能学习到user-item之间的潜在关系而无法学习到user-user,item-item的Similarity。本文作者将传统的CF与Metric Learning相结合提出CML,学习到了user-item，以及user-user,item-item的similari...
2020-04-20 23:45:21
833
原创 A Scalable Probabilistic Tensor Factorization(SPTF)论文小结
SPTF具体来说还是基于张量分解TF的一种方法,同时也还是基于score learning的。介绍用户历史行为可以被分为两种类型: 显示反馈(explicit feedback)和隐式反馈(implicit feedback). explicit feedback包括用户关于他们感兴趣的item的显示输入,主要体现在对item的rating(评分)。但是explicit feedback并不总...
2020-04-20 23:39:06
440
原创 一文详解梯度下降法,牛顿法,拟牛顿法
最优化是一种数学方法,它是研究在给定约束之下如何寻求某些因素,以使某一些指标达到最优的一些学科的总称.在机器学习中,大部分的机器学习算法的本质都是建立优化模型,通过最优化方法对目标函数(损失函数)进行优化,从而训练出最好的模型.梯度下降法,牛顿法和拟牛顿法是求解无约束最优化问题的常用方法.梯度下降法梯度下降法实现简单,当目标函数为凸函数时,梯度下降法的解是全局最优解.梯度梯度的定义: 函...
2020-04-13 14:15:16
575
原创 深度学习数学基础总结
本文是对深度学习、机器学习中用到的数学基础知识的一点总结。高等数学微分微分是对函数的局部变化的一种线性描述.微分可以近似的的描述当函数自变量的变化率取值足够小时,函数的值是怎样变化的(用直线代替曲线)。比如,x的变化量Δx\Delta xΔx趋于0时,记做微元dx。Δy=f(x0+Δx)−f(x0)\Delta y = f(x_0 + \Delta x) - f(x_0)Δy=f(x0...
2020-04-13 14:11:25
704
原创 集成学习(ensemble learning)干货系列(3)——Boosting方法详解
提升，Boosting是另一大类成熟的集成学习方法，在众多机器学习任务上取得了优异的成绩；其基本思想是**是否可以将一个弱学习器，学习增强成一个强学习器（分类器）。** 它通过改变训练样本的权重，学习多个分类器，并将这些分类器进行线性组合，提高分类的性能。
2020-04-12 18:36:52
444
原创 集成学习(ensemble learning)干货系列(2)——随机森林(Bagging)
Bootstrap aggregating 简称**Bagging**，其中bootstrap是指基学习器的训练样本是对原始训练数据的**自助采样（bootstrap sampling）**得到，aggregating 是指集成学习器的预测结果为多个训练好的基学习器的预测结果的总和。本文主要介绍基本的bagging原理和随机森林原理，并说明了bagging和随机森林在成熟的scikit-learn的实现。
2020-04-10 23:32:46
5350
4
原创 集成学习(ensemble learning)干货系列(1)——集成学习概述
**集成学习：简单概括就是通过某种合理的方式将多个简单的基学习器结合起来，以期获得更准确，更高效的模型。** 对某些机器学习任务，有的时候我们使用单个模型已经调到最优，很难再有改进。这时候为了提高性能，往往会用很少量的工作，组合多个基模型（基学习器），使得系统性能提高。 如果基学习器是从某⼀种学习 算法从训练数据中产⽣，称该集成学习是同质的（homogenerous）。如果基学习器是从⼏种不同学习算法从训练数据中产⽣，则称集成学习是异质的（heterogenous ）。集成学习中， 通常基学习器之间的互补性
2020-04-09 15:24:57
681
原创 一篇文章快速学会决策树(ID3，C4.5, CART等)
决策树，英文： Decision Tree, 是一种基本的分类与回归方法。决策树模型呈树形结构，它可以认为是一个if-then的规则集合，也可以认为是**定义在特征空间与类空间上的条件概率分布**。决策树模型的主要特点就是具有可读性、分类速度快，通常包括三个步骤**特征选择、决策树的生成和决策树的修剪。**
2020-04-07 15:38:10
356
原创 张量分解——CP分解与Tucker分解详解
关于张量分解一些简单的介绍,可以看我的这篇张量的CP分解模型一般而言，给定一个大小为n1×n2×n3n_1 \times n_2 \times n_3n1×n2×n3的张量X\mathcal{X}X，其CP分解可以写成如下形式，即X≈∑r=1RA(:,r)⊗B(:,r)⊗C(:,r)\mathcal{X} \approx \sum_{r=1} ^{R} {A(:,r) \otimes ...
2020-03-21 22:48:26
3772
原创 LeetCode 42. Trapping Rain Water
传送门题意给你nnn个非负整数，表示围栏的高度（宽度都为1），问你如果下雨一共能储多少水？如图：Input: [0,1,0,2,1,0,1,3,2,1,2,1]Output: 6思路Dp可以发现对于每一个iii来说，它能储水的高度显然取决于它左面和右面最高的围栏高度之间的最小值。所以我们可以简单的想到brute force，对每个iii,分别找它左面和右面的最大值，然后答案就...
2020-03-21 22:38:27
166
原创 LeetCode String to Integer (atoi) (正则表达式)
传送门题意:很easy的一道题啊,就是实现一些c语言atoi()将字符转化为integer的函数.##思路:按照题目要求,然后注意下细节其实就可以了.class Solution: def myAtoi(self, _str): _str = _str.strip() if _str == "": return 0 ...
2020-03-21 22:36:11
173
原创 LeetCode 48. Rotate Image
传送门题意：给你一个 n×nn \times nn×n的二维矩阵，让你在使用O(1)O(1)O(1)的空间复杂度的情况下，将该矩阵进行顺时针旋转(clockwise)。思路：clockwise一个简单找规律。先将矩阵倒置，在按对角线对称即可。""" * clockwise rotate * first reverse up to down, then swap the symme...
2020-03-21 22:35:27
149
原创 LeetCode Regular Expression Matching(动态规划)
传送门题意:给你两个字符串s和p,让你判断两个字符串是否可以完全匹配.匹配采用正则化匹配的方式,’.‘可以匹配任意字符,’*'表示前面的一个字符匹配0次或多次.思路:比较好想的一种方法就是递归.首先p中若没有’.‘和’’,那么只需要看s和p是否完全一样即可.其次若p中有’.‘那么只需要跳过s中和p的’.‘对应的字符,往后继续判断即可最后若p中有’'那么它可以使它前面的字符匹配0次...
2020-03-21 22:33:43
159
原创 深度学习——--残差网络(ResNet)详解
为什么会有残差网络?网络越深准确率越高吗？一说起深度学习,自然也就想到了它非常显著的特点"深"，通过很深层次的网络实现准确率非常高的图像识别、语音识别等。因此,我们大家很自然就想到:深的网络肯定比浅的网络效果好,如果要进一步提升模型的准确率,最直接的方法就是把网络设计的更深,这样模型的准确率也会越来越准确。那现实是这样吗？我们先来看几个经典的图像识别深度学习模型这几个模型都是在世界顶级...
2020-03-21 22:29:15
1030
原创 机器学习中的降维方法——————多维缩放(MDS)&& 等度量映射(IsoMap)
关于降维降维:通过某种数字变换将原始高维属性空间转变为一个低维"子空间",在这个子空间中样本密度大幅提高,距离计算也变的更为容易。为什么需要降维？在高维情况下回出现数据样本稀疏、距离计算困难等问题,是所有机器学习方法共同面临的严重障碍,被称为“维数灾难”.为什么能降维？因为在很多时候,人们观测或收集到的数据样本虽是高维的,但与学习任务密切相关的也许仅是某个低维分布,即高维空间中的一个低维...
2020-03-21 22:10:07
752
原创 机器学习中核函数(Kernel)的理解
核函数**就是在我们将低维非线性可分的数据通过函数Φ(x)\Phi(x)Φ(x)映射到高维空间之后计算内积的一种简便方法。**在这里它和映射没有任何关系。低维到高维线性可分的映射下面这张图位于第一、二象限内。我们关注红色的门，以及“北京四合院”这几个字下面的紫色的字母。我们把红色的门上的点看成是“+”数据，紫色字母上的点看成是“-”数据，它们的横、纵坐标是两个特征。显然，在这个二维空间内，“...
2020-03-21 21:57:50
577
原创 一文学会支持向量机(SVM)
SVM是一个二元分类算法,线性分类和非线性分类都支持,其学习策略便是间隔最大化, 最终可以转化为一个凸二次规划问题求解。经过演进,现在也可以支持多元分类,同时经过扩展也能应用于回归问题。初探SVM一个简单的例子下面举个简单的例子。如下图所示，现在有一个二维平面，平面上有两种不同的数据，分别用圈和叉表示。由于这些数据是线性可分的，所以可以用一条直线将这两类数据分开，这条直线就相当于一个超平面...
2020-03-21 21:48:22
315
翻译 快速近似计算Gamma函数以及函数阶乘
Gamma 函数Γ(s)=∫0∞xs−1e−xdx,s>0\begin{aligned}\Gamma(s) = \int_{0}^{\infty} x^{s - 1} e^{-x} dx, s > 0\end{aligned}Γ(s)=∫0∞xs−1e−xdx,s>0其具有如下几个性质:Γ(s+1)=sΓ(s)Γ(s+1)=s!\begin{aligned}...
2020-03-12 10:55:37
1654
原创 一文理解线性回归原理(模型,损失函数,正则化)
线性回归模型函数和损失函数线性回归模型线性回归是机器学习中最基本的问题模型了，线性回归遇到的问题一般是这样的。我们有m个样本,每个样本对应n维特征和一个结果输出,如下:(x1(0),x2(0),...xn(0),y0),(x_1^{(0)},x_2^{(0)},...x_n^{(0)},y_0),(x1(0),x2(0),...xn(0),y0),(x1(1),x2(1),...x...
2020-03-11 12:12:08
2436
原创 一文了解KL散度(KL Divergence)
在概率论和统计学中,我们经常用一个简单的近似分布来代替观测数据或复杂的分布.KL散度帮助我们衡量当我们选择一个简单近似的分布来代替复杂的数据或复杂的分布的时候有多少信息损失了.
2020-03-10 23:01:13
1615
原创 EM(Expectation Maximum) 算法总结
EM算法，全称为Expectation Maximum Algorithm，是一个基础算法，是很多机器学习领域算法的基础（如HMM，LDA等）。EM算法是在**概率模型中寻找参数最大似然估计或者最大后验估计的算法，其中概率模型依赖于无法观测的隐含变量。**
2020-03-09 13:46:54
1213
原创 关于Word2Vec的一些总结
什么是word2vec关于word2vec，首先需要弄清楚它并不是一个模型或者DL算法，而是描述从自然语言到词向量转换的技术。Word2Vec本质上就是一个只有一个hidden layer的全连接神经网络,它可以将所有的词向量化,这样词与词就可以定量的去度量他们之间的关系.在NLP中,把x看做一个句子里的一个词语,y是这个词语的上下文词语,那么这里的fff便是nlp中经常出现的语言模型,这...
2020-03-07 23:16:47
569
原创 TF-IDF算法详解
什么是TF/IDF?其实这是两个词的组合,TF与IDF。TF(Term Frequency词频)即一个词在文中出现的次数，统计出来就是词频TF。IDF(Inverse Document Frequency)即逆文档频率。对于词频,显而易见一个词在文章中出现很多次,那么这个词肯定有很大的作用。但是你自己动手试一下会发现TF大的大都是"的“，“是"这样的词,这样的词显然对我们的统计没什么帮助...
2020-03-06 22:37:02
653
原创 K-Means聚类算法详解
声明部分参考K-Means聚类算法原理聚类算法聚类算法是一种无监督学习算法,它主要用于将相似的样本自动归到一个类别中.聚类算法与分类算法的区别:聚类算法是无监督学习,而分类是监督学习,在聚类算法中我们根据样本之间的相似度(或者说距离),将样本归到不同的类别中,对于不同的相似度我们得到的聚类结果可能是不通的.K-Means是一种聚类算法,它实现起来比较简单,而且聚类的效果也不错,所以应用比...
2020-03-06 22:28:09
830
原创 推荐系统常用评价指标(recall,MAP,MRR,NDCG,F1,ROC等)
这里主要总结一下推荐系统当中常见的一些评价指标,主要包括: MAE,RMSE,recall,precision,MAP,MRR,NDCG等MAE(Mean Average Error,平均绝对误差)表示预测值和实际值之间的绝对误差的平均值.##RMSE(Root Mean Square Error,均方根误差)均方根误差是用来衡量观测值同真实值之间的偏差,RMSE越小越好.##Reca...
2020-03-05 14:53:07
7611
4
原创 线性代数知识点总结
直观理解线性代数的本质如何理解矩阵特征值以及特征向量？一篇很好的文章Ax=λxAx = \lambda xAx=λx可以把A看成是一个线性变换,那么这个定义可以看成对于向量x而言,在A的作用下保持方向不变(可能反向)，进行大小为 λ\lambdaλ的缩放。特征向量所在的直线包含了所有特征向量.矩阵乘以特征向量可以看成是矩阵在每个特征向量方向上的投影。通过求特征值和特征向量把矩阵数据...
2020-03-04 10:20:47
1345
原创 机器学习————最小二乘法
学习自,马同学并有一定的修改,再次感谢！什么是最小二乘法？最小二乘法（又称最小平方法）是一种数学优化技术。它通过最小化误差的平方和寻找数据的最佳函数匹配。利用最小二乘法可以简便地求得未知的数据，并使得这些求得的数据与实际数据之间误差的平方和为最小。##最小二乘法日用而不知来看一个生活中的例子。比如说，有五把尺子：用它们来分别测量一线段的长度，得到的数值分别为（颜色指不同的尺子）：之所...
2020-03-02 15:51:01
910
中国科学院大学深度学习课程实验作业——电影评论情感分类（代码+实验报告）
2021-03-17
保研/考研准备资料大礼包（经验汇总+个人陈述+个人简历+联系老师+面试+自我介绍+申请表+提交材料+推荐信）
2021-01-21
中国科学院大学深度学习课程实验作业——猫狗分类（代码+实验报告）
2021-01-14
中国科学院大学深度学习课程实验作业——电影评论情感分类（代码+实验报告）
2021-01-14
中国科学院大学深度学习课程实验作业——手写数字识别（代码+实验报告）
2021-01-14
中国科学院大学深度学习课程实验作业——自动写诗（代码+实验报告）
2021-01-14
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人