2017年12月_poilkj110

12月 11月

原创基于图的模型

这种半监督学习假设存在一个图G={V,E}，其中V节点是有标价和无标记训练实例，无向边E连接实例i,j ，其中权重Wij。图有时被假设为一个潜在流形结构的随机实例，概率为p(x). wij 反映了xi 和xj的相似度。例如高斯边权函数定义wij=exp(−||xi−xj||2/σ2)w_{ij}=exp(-||x_i - x_j || ^2 /\sigma ^2).另一个例子KNN边权定义当两点是近

2017-12-22 21:57:56 372

原创使用Keras做猫狗分类

本文介绍一个图像分类问题，目标是得到输入图像的类别。使用的方法是训练卷积神经网络，数据集包括上千张猫和狗的图像。使用的框架是Keras库，数据集下载：这里写链接内容 1下载test_set 和training_set，其中有10000张图片。在training_set中包含两个子文件夹cats 和dogs, 每个都有8000张图片关于对应类别。在test_set文件夹中包含两个子文件夹cats

2017-12-20 14:13:43 5711 4

原创 DropoutNet: 解决推荐系统中冷启动问题

摘要：隐藏模型称为推荐系统的默认选择，因为他们的好表现以及可拓展性。然而，在此领域的调查主要关注在建模user-item之间的交互，很少隐藏模型为冷启动专门设计。受深度学习启发，提出了基于隐藏模型的神经网络称为DropoutNet来解决推荐系统中冷启动问题。不像现存方法其嵌入额外的基于内容的目标项，我们关注在优化上并展示神经网络模型可以为冷启动有效训练通过dropout. 1 简介一个通常方法

2017-12-19 21:42:47 4198

原创 Convolutional Sequence to Sequence Learning笔记

摘要：序列到序列学习的流形方法映射输入序列到一个变长输出序列通过循环神经网络。我们引入一个完全依赖于卷积神经网络的架构。和循环模型相比，所有元素计算可以并行化更好利用GPU并且当非线性的两固定并不依赖于输入长度时更容易优化。简介：和循环层相比，卷积层对固定大小内容产生表达，网络可以用过用堆积层来扩大有效的内容大小。这允许去更精确地控制依赖的最大长度。卷积网络不依赖于之前时间步的计算因此允许在

2017-12-18 21:10:24 1453

原创 Attention Is All You Need

摘要：以复杂循环或卷积神经网络为基础的显性序列转化模型，包括编码和解码。最好表现的模型也连接编码和解码通过注意力机制。我们提出一种新的简单网络架构，Transformer，只基于注意力机制，丢弃循环和卷积网络。在两个机器翻译任务上的实验显示这些模型在质量上更好，并能更好并行化，要求更少时间训练。 1 简介循环网络，LSTM和门循环网络是在序列建模和转化问题例如语言建模和机器翻译任务中最好的方

2017-12-10 21:34:59 6222

原创使用交叉存取得到更快推荐算法

我们拓展大量新算法可以通过引入一个在线实验的初始剪枝阶段来进行测试，其满足两个属性：1对排序函数质量高度敏感，也就是确定最好算法只用很小的样本集。 2 在第二阶段预测的成果在于：在第一阶段衡量的度量对齐于核心的A/B评估度量。通过使用交叉存取技术，动态加速试验过程。第一阶段筛选最有希望的排序函数，第二阶段只使用这些筛选的函数，允许我们分配更少的成员到整体试验并减少整体试验持续时间。使用一个重复的

2017-12-09 21:57:07 1281

原创通过影响函数理解黑箱预测

摘要：我们如何解释黑箱预测的结果？在本文中使用影响函数-一个经典的技术来追踪模型预测在学习算法中并返回到训练数据，隐藏确定训练点对给定预测最相关的点。按比例夸大影响函数到现代机器学习设定，我们开发一个简单有效的实现只要求得到梯度和Hessian-vector乘积，我们展示甚至在非凸和非可导模型，对影响函数的近似仍然提供有价值的信息。我们显示影响函数对多种意图有用：理解模型行为，debug模型，

2017-12-08 21:30:20 1218

原创词嵌入：探索解释和利用

词嵌入定义：对于一系列语言建模和特征学习技术的集合名称，在自然语言处理领域中文本库中词或短语被映射到一个实值向量。这个向量反映了就形态学/ 词-内容表达/ 全局语料统计/ 词层次结构/文本建的关系和他们包含的项之间的词结构。所有词嵌入的思想是去捕获其语义/形态/内容/层次信息等等。在实践中特定任务中可能某一个方法会比其他的都好，例如LSA在处理低维空间来自相同领域的文本，其已经被处理成ter

2017-12-05 21:25:17 1460

原创理解CapsuleNetwork2

what is a Capsule? 第一篇论文引入capsule的观点- “Transforming AutoEncoders”,其中一部分对于capsule的理解很重要： “不去在神经元的活动中力求视角不变性，使用单个标量输出来概括一个局部合伙的复制特征检测器，人造神经网络应该使用局部“capsule”来完成复杂的内部计算，并封装这些计算的结果到一个小的高度信息化的输出向量中。每个胶囊学习识

2017-12-01 21:43:27 472

原创理解Hinton的Capsule Networks1

Capsule Networks架构1 卷积网络的缺点对于CNN中当检测人脸时，通常检测出脸的轮廓，2个眼镜，一个鼻子和一个嘴巴就可以了。方向性和相关性空间关系对于CNN来说不重要。那么CNN是如何工作的呢，CNN主要组成部分是卷积层，在图像像素中检测重要特征，最初几层学习检测简单特征例如边界盒颜色梯度，高层将结合简单特征到更复杂特征。最后密集层（全连接层）将结合高层特征输出分类预测。一

2017-12-01 16:29:07 957

原创手机端开发深度学习应用

第一步模型压缩将深度学习模型应用到手机、嵌入式设备，我们应该减少模型内存封装，减少推断时间和减少能源使用。有许多方式解决这些问题，例如量子化，权重简直或者distilling 大模型到小模型. 本文使用在Tensorflow中的量子化工具压缩模型。缩减到8bit权重，没有提供额外的好处例如减少推断时间。时间甚至需要2倍，因为量子化工作对CPU没有优化。量化模型参数： 1 将模型写入pro

2017-12-01 13:56:08 1578

原创记录下kaggle比赛经验

比赛 Porto Seguro 保险预测第一名使用表达学习，有6个模型集成，1 lightgbm, 5 nn. 移除了无用特征，对Binary特征使用One-hot编码。所有NN在降噪自编码隐藏激活中训练，完成一个很好学习数值数据的表达。 1 特征工程首先移除*calc 特征，增加*cat特征的one-hot编码。没有缺失值的替代。最终使用221个密集特征。 2 局部验证使用5-fo

2017-12-01 13:35:56 935