deep learning
青盏
这个作者很懒,什么都没留下…
展开
-
tf.stack
【代码】tf.stack。原创 2022-09-30 16:10:44 · 341 阅读 · 0 评论 -
基于Softmax与Sampling的方法,流式采样率预估
漫谈词向量之基于Softmax与Sampling的方法英文版Sampling-bias-corrected neural modeling for large corpus item recommendations - AMiner【推荐系统经典论文(九)】谷歌双塔模型 - 知乎Adaptive Importance Sampling to Accelerate Training of a Neural Probabilistic Language Model...转载 2021-09-12 23:53:22 · 320 阅读 · 0 评论 -
LHUC 模型内部差异化
对于一个混合多种数据源的训练模型,不同数据源肯定存在着差异性,如果将这种差异性反映到模型中。LHUC试图利用将这些差异性插入对模型的NN中,从而对NN进行调整。Learning Hidden Unit Contributions for Unsupervised Acoustic Model Adaptation超越Google 快手落地业界首个万亿参数推荐精排模型...转载 2021-08-08 12:19:25 · 9310 阅读 · 0 评论 -
为啥要有logsoftmax? Log-Sum-Exp Trick
关于LogSumExpThe Log-Sum-Exp Trick转载 2021-06-23 22:44:18 · 751 阅读 · 0 评论 -
胶囊网络
14.胶囊网络(Capsule Network)转载 2021-04-24 23:49:54 · 247 阅读 · 1 评论 -
辅助读懂Reinforcement Learning for Slate-based Recommender Systems
基础知识准备强化学习入门简单实例 DQN强化学习入门 第一讲 MDP随笔分类 - 0084. 强化学习中文翻译强化学习RL应用在youtube推荐系统 2019谷歌论文解读强化学习应用k推荐的问题slate在文中的意思大概就是一次性推荐k个item给用户。由于是k个item的组合,动作空间是非常大的。Choice Model在本文的强化学习中使用到了choice model模型...原创 2020-04-06 11:14:39 · 1045 阅读 · 0 评论 -
强化学习算法伪代码对比
Value-BasedQ-learning:1、在迭代模型时Q-learning算法目标值的计算是选取下一状态最大的动作价值2、下一状态的动作选取使用的是e-greedy算法,因此产生数据的策略(e-greedy)和迭代模型的策略(贪心:选取最大动作价值)不同,属于off-policySARSA:1、在迭代模型时Q-learning算法目标值的计算是选取e-greedy算法产生的下...原创 2020-03-29 22:14:30 · 6075 阅读 · 1 评论 -
由 An Intriguing Failing of Convolutional Neural Networks and the CoordConv Solution 引起的思考
文献来源 这篇文章提出卷积网络无法很好处理坐标的问题。如上图,直接对卷积网络输入坐标,然后让卷积网络输出一张在坐标周围渲染成的正方形块的图像。但结果不是很理想。文章提出在卷积网络层中添加一个坐标信息。如下图: 其实就是将一维坐标信息手工转化成利于卷积网络处理的二维信息。但我不是太赞同这种方法,虽然从目前来看也是一种不错解决办法。因为我感觉这方法只是一个折衷方法,并没有真正解决文章中...原创 2018-07-15 14:02:30 · 2341 阅读 · 0 评论 -
度量学习 度量函数 metric learning deep metric learning 深度度量学习
曼哈顿距离(CityBlockSimilarity)同欧式距离相似,都是用于多维数据空间距离的测度。 欧式距离(Euclidean Distance)用于衡量多维空间中各个点之间的绝对距离。使用时各个维度量级最好能够在同一个尺度上。 马氏距离(Mahalanobis distance)一种有效的计算两个未知样本集的相似度的方法。与欧氏距离将所有维度同等看待不同,其考虑到各种...原创 2018-07-25 21:08:01 · 27082 阅读 · 0 评论 -
深度学习在CTR预估中的应用
1、转自2、转自3、深入FFM原理与实践4、网络广告中,CPC、CPA、CPM 的定义各是怎样的?如果只是做研究,而考虑数据集的特征工程,可以关注这个库。一、前言深度学习凭借其强大的表达能力和灵活的网络结构在NLP、图像、语音等众多领域取得了重大突破。在广告领域,预测用户点击率(Click Through Rate,简称CTR)领域近年也有大量关于深度学习方面的研究,仅这两...转载 2018-08-06 19:42:14 · 7230 阅读 · 0 评论 -
深度学习中注意力机制集锦 Attention Module
注意力机制模仿的是人类观察模式。一般我们在观察一个场景时,首先观察到的是整体场景,但当我们要深入了解某个目标时,我们的注意力就会集中到这个目标上,甚至为了观察到目标的纹理,我们会靠近目标,仔细观察。同理在深度学习中,我们提取到的信息流以同等重要性向后流动,而如果我们知道某些先验信息,我们就能够根据这些信息抑制某些无效信息的流动,从而使得重要信息得以保留。这是一种模式,而并非具体的公式,因此存在各种...原创 2018-10-13 21:29:11 · 26766 阅读 · 7 评论 -
图卷积样例 graph convolution network
来源:如何用图卷积网络在图上做深度学习Graph Neural Network Review傅里叶分析之掐死教程(完整版)更新于2014.06.06如何理解 Graph Convolutional Network(GCN)?graph convolution network有什么比较好的应用task?卷积神经网络不能处理“图”结构数据?这篇文章告诉你答案如何用图卷积网络(G...转载 2018-12-20 10:35:09 · 8969 阅读 · 3 评论 -
(compact) Bilinear Pooling, Confusion
来源Learn by attention, learn with confusion.先引用几段魏秀参大神的论述「见微知著」——细粒度图像分析进展综述 细粒度物体的差异仅体现在细微之处。如何有效地对前景对象进行检测,并从中发现重要的局部区域信息,成为了细粒度图像分类算法要解决的关键问题。对细粒度分类模型,可以按照其使用的监督信息的多少,分为“基于强监督信息的分类模型”和“基于弱监督信息...转载 2018-12-27 17:20:02 · 1072 阅读 · 0 评论 -
海康威视研究院ImageNet2016竞赛经验分享
来自目录场景分类数据增强数据增强对最后的识别性能和泛化能力都有着非常重要的作用。我们使用下面这些数据增强方法。第一,对颜色的数据增强,包括色彩的饱和度、亮度和对比度等方面,主要从Facebook的代码里改过来的。第二,PCA Jittering,最早是由Alex在他2012年赢得ImageNet竞赛的那篇NIPS中提出来的. 我们首先按照RGB三个颜色通道计算了均值和标准差,对网络的输入数...转载 2018-06-27 15:26:11 · 3575 阅读 · 0 评论 -
记一次CNN前向可视化
方法: 将feature maps在通道方向均值叠加,然后形成一个feature map,归一化到0-1之间(注意卷积后有负值存在,但RuLu后没有负值。),再放大到0~255。 可视化图像: ...原创 2018-06-25 14:19:15 · 202 阅读 · 0 评论 -
优化循环神经网络长期依赖问题 LSTM GRU 截断梯度 渗透单元
长期依赖问题长期依赖问题在于经过许多阶段梯度传播后,梯度倾向于消失(多数)或者爆炸(少数)。循环神经网络涉及到多次相同函数的组合,这些组合导致极短的非线性。 ESN回声状态网络:。。。跳跃连接:从过去某个层输出,直接链接到未来层。引入d延时循环链接保证单元能够被前d个单元影响,减轻梯度爆炸和消失问题。导数的指数减小速度与T/d有关而不是T有关。如ResNet: 渗透单元:设置自连接单元从而获得导原创 2018-03-15 22:27:09 · 5413 阅读 · 0 评论 -
RNN 循环 NN 神经网络 基本结构类型
基础理解不同于卷积网络专门处理网格化数据,循环神经网络主要处理序列数据。比如一个句子:‘I went to Nepal in 2009’。每个word可以为序列的一个x。由于序列的长短不同,如果对每个x都单独设置一个参数,那么当出现更长的序列时模型就无法处理,没有对应的权重参数。而且对于序列‘I went to Nepal in 2009.’和’In 2009, I went to Nepal...原创 2018-03-07 20:56:10 · 16386 阅读 · 9 评论 -
Focal loss keras实现 tf.equal tf.ones_like tf.zeros_like tf.where
Focal loss原理 他人推理过程 Focal Loss基本思想就是对于容易区分的(概率大)梯度更新小(1-pt接近0),对于不容易区分的(概率小)梯度更新大。 其中pt代表每个类别概率(二分类也可以理解为多分类问题。只不过二分类预测的都是为1概率,而多分类预测属于所有类别概率,此处pt在二分类中理解为属于1或0的概率),alpha控制样本不平衡问题,gamma控制难分样本问题。代码兼原创 2018-03-14 15:51:28 · 4611 阅读 · 2 评论 -
tensorflow 基本运算API
来源留作存档官网接口1、tensorflow的基本运作为了快速的熟悉TensorFlow编程,下面从一段简单的代码开始:import tensorflow as tf #定义‘符号’变量,也称为占位符 a = tf.placeholder("float") b = tf.placeholder("float") y = tf.mul(a, b) #构造一个op节点 s...转载 2018-03-20 12:53:47 · 1203 阅读 · 0 评论 -
Focal Loss for Dense Object Detection 概要
主要内容:Loss函数 文章提出一种loss函数,针对在one-stage模型中提取区域的foreground和background类别不平衡问题(正负样本比例接近1000)。 其中分析对于two-stage R-CNN类型模型主要通过cascade和heuristics方法解决。在proposal stage使用算法减少候选区域的同时除去大量background Samples,而在clas原创 2018-03-26 20:29:48 · 324 阅读 · 0 评论 -
深度学习模型构想
用作记录一些模型的设计构思。 多任务学习,该模型底层存在三个任务x1,x2,x3。每个任务意义不同,甚至维度,分布都不同。但顶层输出变量y具有相同意义,上层结构是共享的。由于上层共享参数,最终导致低层结构学习的是将每个特定任务转化处通用的特征供上层使用。 举例:语音识别,语种的存在导致不同的发音,但最终学得的是相同语义的特征表示。 多任务学习,在某些类似任务中,某些低层概念是...原创 2018-03-10 15:50:57 · 1298 阅读 · 0 评论 -
很好理解流形学习的文章-浅谈流形学习(Manifold Learning)
来源Machine Learning 虽然名字里带了 Learning 一个词,让人乍一看觉得和 Intelligence 相比不过是换了个说法而已,然而事实上这里的 Learning 的意义要朴素得多。我们来看一看 Machine Learning 的典型的流程就知道了,其实有时候觉得和应用数学或者更通俗的数学建模有些类似,通常我们会有需要分析或者处理的数据,根据一些经验和一些假转载 2018-03-25 19:39:15 · 16565 阅读 · 9 评论 -
当小样本遇上机器学习 few shot learning one shot learning
引言 来源 深度学习(deep learning)已经广泛应用于各个领域,解决各类问题,例如在图像分类问题下,如图1,区分这10类目标的准确率目前可以轻松做到94%。然而,deep learning是一种data hungry的技术,需要大量的标注样本才能发挥作用。图1 现实世界中,有很多问题是没有这么多的标注数据的,获取标注数据的成本也非常大,例如在医疗领域、安全领域等。因此,我们现在讨论...转载 2018-04-11 20:03:37 · 24104 阅读 · 3 评论 -
样本不平衡 分类 难分样本 hard example OHEM
样本不平衡问题 如在二分类中正负样本比例存在较大差距,导致模型的预测偏向某一类别。如果正样本占据1%,而负样本占据99%,那么模型只需要对所有样本输出预测为负样本,那么模型轻松可以达到99%的正确率。一般此时需使用其他度量标准来判断模型性能。比如召回率ReCall(查全率:样本中所有标记为正样本的有多少被模型预测为正样本)。 从数据层解决办法: 1、欠采样(undersampling...原创 2018-04-02 20:26:17 · 12834 阅读 · 1 评论 -
深度模型优化性能 调参
注意调参看验证集。trainset loss通常能够一直降低,但validation set loss在经过一段降低期后会开始逐渐上升,此时模型开始在训练集上过拟合。着重关注val loss变化,val acc可能会突变,但loss衡量的整体目标。优先调参学习率。通过对模型预测结果,可以判断模型的学习程度,如果softmax输出在0或1边缘说明还不错,如果在0.5边缘说明模型有待提高。调参原创 2018-03-17 22:37:07 · 23094 阅读 · 0 评论 -
强化学习入门简单实例 DQN
基础知识作者:甄景贤链接:https://www.zhihu.com/question/41775291/answer/93276779我在外国博客上写过一些基於人工智能的文章,有些搬到了博客园,上面转录的是其中一篇:什么是强化学习?我正在研究的 AI architecture 是用强化学习控制 recurrent 神经网络,我相信这个设置可以做到逻辑推理和答问题的功能,基本上就...转载 2018-05-10 15:28:53 · 65685 阅读 · 10 评论 -
「见微知著」——细粒度图像分析进展综述
来源大家应该都会有这样的经历:逛街时看到路人的萌犬可爱至极,可仅知是“犬”殊不知其具体品种;初春踏青,见那姹紫嫣红丛中笑,却桃杏李傻傻分不清……实际上,类似的问题在实际生活中屡见不鲜。如此问题为何难?究其原因,是普通人未受过针对此类任务的专门训练。倘若踏青时有位资深植物学家相随,不要说桃杏李花,就连差别甚微的青青河边草想必都能分得清白。为了让普通人也能轻松达到“专家水平”,人工智能的研究者们希望借...转载 2018-04-29 16:16:55 · 662 阅读 · 0 评论 -
linux查看 CUDA cudnn 版本 查看Navicat GPU版本 查看nvidia 驱动版本
用于记录写小东西。 查看 CUDA cudnn 版本cuda 版本 cat /usr/local/cuda/version.txtcudnn 版本 cat /usr/local/cuda/include/cudnn.h | grep CUDNN_MAJOR -A 2查看Navicat GPU版本nvidia-smi//10s显示一次watch -n 10 nvid...原创 2017-12-20 20:21:53 · 12089 阅读 · 0 评论