机器学习
文章平均质量分 60
ls317842927
这个作者很懒,什么都没留下…
展开
-
Stacked Autoencoders学习笔记
上图是一个栈式自编码算法模型,属于无监督学习。栈式自编码神经网络是一个由多层自编码器组成的神经网络,其前一层自编码器的输出作为其后一层自编码器的输入。通过将重构的x与输入的x相减来计算误差。 encoder部分从原始2000维特征降至50维(根据实际情况,自定义特征数),有三个隐层,每一层都是提取的高维特征,最后一层作为降维后的特征可用作分类和回归。decoder部分输出重构的x,通过调整enco原创 2016-11-03 12:01:02 · 5432 阅读 · 0 评论 -
DeepLearnToolbox中SAE代码理解
Dropout是指在模型训练时随机让网络某些隐含层节点的权重不工作,不工作的那些节点可以暂时认为不是网络结构的一部分,但是它的权重得保留下来(只是暂时不更新而已),因为下次样本输入时它可能又得工作了。 训练神经网络模型时,如果训练样本较少,为了防止模型过拟合,Dropout可以作为一种trikc供选择。Dropout是hintion最近2年提出的,源于其文章Improving neural ne原创 2016-11-15 08:50:33 · 6509 阅读 · 3 评论 -
Neural Networks学习笔记
1、神经网络(Neural Networks) 用nln_{l}表示网络层数,本例中nl=3n_{l}=3,将第ll层记为LlL_{l},于是L1L_{1}是输入层,LnlL_{n_{l}}是输出层。本例神经网络有参数 ,其中,,,。 我们用表示第ll层第ii单元的激活值(输出值)。当时,也就是第ii个输入值(输入值的第ii个特征)。对于给定参数集合W,bW,b ,我们的神经网络就可以按照函原创 2016-10-31 20:58:13 · 937 阅读 · 1 评论 -
Sparse Autoencoder学习笔记
神经网络是监督学习,自编码算法是非监督学习,只有没有标签的训练样本集{x(1),x(2),x(3),...}\left \{ x^{(1)}, x^{(2)},x^{(3)},...\right \}。自编码算法可以学习到输入特征的压缩表达,当输入是完全随机的,即每个特征都是独立的且服从同一个高斯分布,那么这个压缩任务将会非常难,但是如果有一些输入特征是互相关联的,那么自编码算法将会发现这些关联。原创 2016-11-14 18:20:27 · 789 阅读 · 0 评论 -
SVR(二次损失函数)公式推导
参考资料: 1、Support Vector Machines for Classification and Regression/ 2、A tutorial on support vector regression原创 2016-12-16 19:30:26 · 7102 阅读 · 0 评论 -
《推荐系统实践》——基于物品的协同过滤算法(代码实现)
一、基础算法基于物品的协同过滤算法(简称ItemCF)给用户推荐那些和他们之前喜欢的物品相似的物品。不过ItemCF不是利用物品的内容计算物品之间相似度,而是利用用户的行为记录。该算法认为,物品A和物品B具有很大的相似度是因为喜欢物品A的用户大都也喜欢物品B。这里蕴含一个假设,就是每个用户的兴趣都局限在某几个方面,因此如果两个物品属于同一个用户的兴趣列表,那么这两个物品可能就属于有限的几个原创 2018-01-16 19:01:54 · 22112 阅读 · 5 评论