![](https://img-blog.csdnimg.cn/20200909103537829.jpg?x-oss-process=image/resize,m_fixed,h_224,w_224)
深度学习
深度学习
fp-growth
冲冲冲!
展开
-
Pytorch之Hook
Hook是Pytorch中一个十分有用的特性。利用它,我们可以不必改变网络输入输出的结构,方便地获取、改变网络中间层变量的值和梯度。这个功能被广泛用于可视化神经网络中间层的feature、gradient,从而诊断神经网络中可能出现的问题,分析网络有效性。Pytorch中Hook的用法:Hook for Tensors:针对Tensor的hook。 Hook for Modules:针对例如nn.Conv2d nn.Linear等网络模块的hook。 Guided Backpropagatio.原创 2020-11-05 16:49:36 · 173 阅读 · 0 评论 -
记录非root权限安装caffe
在本教程中,我将介绍如何在没有root特权的情况下安装Caffe。 我假设你已经安装了Anaconda和CUDA。创造虚拟环境conda create -n caffeconda activate caffe安装依赖conda install boost openblas mkl mkl-include gflags glog lmdb leveldb h5py hdf5 scikit-imageconda install ffmpegconda install -c menpo.原创 2020-10-15 22:07:15 · 370 阅读 · 1 评论 -
Hierarchical softmax
softmaxSoftmax(归一化指数函数)是输出层函数,它激活我们每个节点作为神经网络计算的最后一步。 它用于计算至少2种不同类型的常见word embedding:word2vec和FastText。 此外,它是神经网络结构的许多情况下的激活步骤,以及sigmoid和tanh函数。 softmax的定义是:其中,激活输出向量的每个元素都是单词在给定输入单词I的词汇表中等于第j个单词的概率。 此外,值得一提的是,输出向量的元素之和等于1,并且它的每个元素都映射到一个范围[0,1]中。这种原创 2020-10-11 09:46:02 · 328 阅读 · 0 评论 -
《Distributed Representations of Words and Phrases and their Compositionality》阅读笔记
本文提出了原始Skip-gram model的几个扩展。本文展示了在训练过程中通过对频词的次采样会导致显著的加速(大约2x-10x),同时也会提升小部分频词表征的准确率。另外,本文提出一个简化的多样性NCE(Noise Contrastive Estimation)去训练Skip-gram模型,这比之前工作中使用的更复杂的分层softmax有着更快的训练和更好的表示频词。...原创 2020-10-10 20:33:01 · 86 阅读 · 0 评论 -
图解word2vec
Word2vec是一种有效创建单词嵌入的方法,自2013年以来一直存在。但是,除了其作为词嵌入方法的效用之外,它的某些概念甚至在商业性非语言任务中也被证明可以有效地创建推荐引擎并理解顺序数据。像Airbnb,阿里巴巴,Spotify和Anghami这样的公司都受益于从NLP领域中雕刻出这台出色的机器并将其用于生产中,从而为新型推荐引擎提供支持。在本文中,我将介绍嵌入(embeddings)的概念以及使用word2vec生成嵌入的机制。 但是,让我们从一个示例开始,以熟悉如何使用向量来表示事物。 您是否知原创 2020-10-08 14:12:54 · 212 阅读 · 2 评论 -
Word Embedding,Word2Vec和Glove讲解
Word Embedding是什么?人类一直擅长理解语言。 人类很容易理解单词之间的关系,但对于计算机来说,这项任务可能不简单。 例如,我们人类理解国王和王后,男人和女人,老虎和老虎之间有某种类型的关系,但计算机怎么能弄清楚这一点呢?word embedding基本上是一种词表示形式,它将人类对语言的理解与机器的理解联系起来。 他们已经学习了文本在n维空间中的表示,其中具有相同含义的单词具有相似的表示。 这意味着两个相似的词由几乎相似的向量表示,它们非常紧密地放置在向量空间中。 这些对于解决大多数自原创 2020-10-09 15:57:32 · 1267 阅读 · 1 评论 -
《Detect-to-Retrieve: Efficient Regional Aggregation for Image Search》阅读笔记
图像检索系统现在主要遇到两个问题:过滤,这是一种根据数据库图像与查询图像的相似性对数据库图像进行排序的有效技术。原创 2020-10-09 14:57:52 · 582 阅读 · 0 评论 -
Large-scale image retrieval with attentive deep local features(DELF)阅读笔记
本文提出了一种专门为大规模图像检索应用程序设计的局部特征descriptor,即DELF。 DLEF是在弱监督下学习的,仅仅使用图像级标签,并结合用于语义特征选择的注意力机制。注意力机制是用来关键点选择,与descriptor共享网络层。 为了适当评估大规模图像检索算法的性能,引入了Google Landmarks数据集(包含1M以上的数据库图像)。 使用DELF进行图片检索主要有四步: 提取密集的局部特征(by FCN,ResNet50作为baseline) ..原创 2020-09-29 10:12:34 · 791 阅读 · 0 评论 -
mmdetection使用预训练模型fine-tune
在https://github.com/open-mmlab/mmdetection下载预训练模型,如我这里使用的是cascade_rcnn_r50_fpn_1x_coco。import torchnum_classes = 4model_coco = torch.load("./checkpoints/cascade_rcnn_r50_fpn_1x_coco_20200316-3dc56deb.pth")# for key, value in model_coco["state_dict"]原创 2020-09-20 20:45:20 · 8240 阅读 · 1 评论 -
PyTorch常用知识点
torch.cattorch.cat是将两个张量(tensor)拼接在一起。 使用torch.cat((A,B),dim)时,除拼接维数dim数值可不同外其余维数数值需相同,方能对齐。 >>> import torch>>> A=torch.ones(2,3) #2x3的张量(矩阵) >>> Atensor([[ 1., 1., 1.], [原创 2020-09-13 14:24:09 · 206 阅读 · 0 评论 -
计算机视觉----attention
Attention Mechanism主要有以下两个方面作用:决定需要关注输入的哪部分。 分配有限的信息处理资源给重要的部分。在神经网络中,注意力模块通常是一个额外的神经网络,能够硬性选择输入的某些部分,或者给输入的不同部分分配不同的权重。关于模型优化,注意力机制通常有一个连接在原神经网络之后的额外的神经网络实现,整个模型仍然是端到端的,因此注意力模块能够和原模型一起同步训练。对于soft attention,注意力模块对其输入是可微的,所以整个模型仍可用梯度方法来优化。而对于hard attent原创 2020-09-12 23:05:35 · 140 阅读 · 0 评论 -
记录FsDet安装心酸过程
server环境:gcc:7.5.0,cuda:10.2,nvcc:10.2.89,pytorch:1.5.0根据FsDet的README.md逐步安装需要的依赖文件,一些正常安装。但是在最后一步build FsDet时,使用python setup.py build develop时一直报着下面的错误:通过网上一翻搜索和中间尝试过不断变化server环境:如gcc降为7.1.0,仍然报错;cuda降为10.1,nvcc降为10.1.105,仍然报错;最后将pytorch降为1.4.原创 2020-09-03 19:13:32 · 1113 阅读 · 10 评论 -
深度学习工具之Sacred
介绍Sacred是一个能够帮助你配置,组织,记录和重现实验的工具。它旨在完成我们需要围绕实际实验进行的所有繁琐的日常工作,以便: 持续跟进我们实验的所有参数 简单的进行不同设置的实验 将单次运行的实验配置信息保存到数据库中 重现我们的结果 Sacred实现这些通过下面的机制: ConfigScopes:函数中局部变量定义实验所用参数的一种非常方便的方法。 Config Injection:可以从每个函数访问我们配置的所有参数。 它们会按名称自动注入原创 2020-09-08 15:55:19 · 1723 阅读 · 0 评论 -
深度学习面试每日一题
1、反卷积(deconvolution) 反卷积的用途:实现上采样,近似重构输入图像,卷积层可视化。 反卷积也称为转置卷积,如果用矩阵乘法实现卷积操作,将卷积核平铺为矩阵,则转置卷积在正向计算时左乘这个矩阵的转置,在反向传播时左乘W,这与卷积操作刚好相反,需要注意的是,反卷积不是卷积的逆运算。 卷积:,反卷积:。 ...原创 2020-09-08 15:02:49 · 12050 阅读 · 0 评论