- 博客(233)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 视觉-语言预训练模型综述
Li F, Zhang H, Zhang Y F, et al. Vision-Language Intelligence: Tasks, Representation Learning, and Large Models[J]. arXiv preprint arXiv:2203.01922, 2022.按照时间顺序将VLP模型分为三个阶段：特定任务的方法，视觉语言预训练(VLP)方法，以及由大规模弱标记数据加持的更大的模型三大类。第一阶段：特定任务方法三类主流任务：Image Captioni
2022-03-14 18:02:35
6464
原创 医学报告生成论文阅读笔记
1.Transformers in Medical Imaging: A Survey综述了Transformers在医学图像分割、检测、分类、重建、合成、配准、临床报告生成和其他任务中的应用。Shamshad F, Khan S, Zamir S W, et al. Transformers in Medical Imaging: A Survey[J]. arXiv preprint arXiv:2201.09873, 2022. [源码]2.Methods for automatic gener
2022-02-17 23:30:38
5426
原创 【论文翻译】COMPUTER VISION FOR COVID-19 CONTROL: A SURVEY
论文地址摘要COVID-19大流行病在全球的蔓延已经引发了一种迫切的需要，即为抗击对人类人口的巨大威胁作出贡献。计算机视觉作为人工智能的一个分支领域，近年来在解决医疗保健中的各种复杂问题方面取得了成功，并有可能在控制COVID-19方面做出贡献。为了响应这一号召，计算机视觉研究人员正在试用他们的知识库，以设计有效的方法来应对COVID-19的挑战，并为全球社会服务。每天都在分享新的贡献。它...
2020-04-25 10:09:09
1877
原创 Windows下深度学习环境CUDA10.1和CUDA10.0共存
前两天无意看到一篇论文《EISEN: A PYTHON PACKAGE FOR SOLID DEEP LEARNING》，介绍了一个基于Pytorch的医学图像处理库，正好和所研究的内容有关，既然有人已经造好了轮子，那不是很好吗，于是找到官方GitHub]和官网开始安装，将遇到的坑记录一下： 我当前的系统状况如下：硬件Windows10+2080Ti，cuda10.0...
2020-04-13 18:02:27
5925
6
原创 PaddlePaddle CV疫情训练营学习感受
疫情期间，百度AI开放了7天的PaddlePaddle疫情CV训练营，经过这几点的学习打开，感受如下：1.理论基础很重要，决定了你是否走得远，能走多快，是否比别人更具有创新的灵感。在2018年以前，由于兴趣主要在自学机器学习相关的理论，2018年开始接触深度学习。由于是自学，一开始急于动手实践，在没有多少理论做铺垫的情况下，学习了Tensorflow，调过Pytorch，玩过Keras，最终由...
2020-04-07 19:28:24
302
原创 从RNN到XLnet
疫情期间，重新阅读了语言模型相关的论文，从RNN时代到XLNet，结合看得网络博文和视频，简单总结为如下一张图：模型分为AE(AutoEncoder)类，如Transformer，BERT等，AR类(AutoRegression)类，如基于RNN、LSTM或其变种（ELMO）等，这种分类方式是XLNET中的分类方法，可以参考该论文。下面引用Recurrent.ai联合创始人杨植麟大神讲座中...
2020-02-15 18:02:56
399
原创 【论文阅读笔记】诗歌生成的四篇论文
Chinese Poetry Generation with Planning based Neural NetworkCOLING 2016源码方法：两阶段生成诗词：Step 1： 生成诗词主题根据人输入的关键词或句子，提取诗词关键词，根据待生成句子的数量，生成对应数量的关键词。使用TextRank算法结合word2Vec词向量对关键词重要性排列，取最重要的关键词。如果能提取的关...
2019-08-12 09:07:30
2051
原创 【问题解决】Win10 VScode中激活虚环境提示“Your shell has not been properly configured to use 'conda activate'.”
在win10 VScode powershell comdline中使用conda activate激活虚环境时候提示ommandNotFoundError: Your shell has not been properly configured to use 'conda activate'.确保在环境变量中已经加入了Anaconda路径后，问题依旧。在VScode powershell...
2019-08-11 16:27:25
18051
22
原创 【论文阅读笔记】 Inverse Cooking: Recipe Generation from Food Images
本文是Facebook AI Research发表在CVPR2019，是一篇很有意思的论文。人们喜欢美食摄影是因为他们欣赏美食。每顿饭的背后都有一个复杂的食谱描述的故事，不幸的是，仅仅看一个食物的图片，我们无法了解它的制作过程，在本文中介绍了一个逆向烹饪系统，它可以重建给定食物图像的烹饪食谱。通过一种新颖的体系结构来预测食材的组合，在不引入任何顺序的情况下对其依赖关系进行建模，然后通过同时处理图...
2019-08-07 11:11:15
539
原创 Ubuntu18.04下深度学习环境搭建及问题解决（双系统+2080Ti显卡）
本文使用的是SSD+机械安装双系统，先安装Win10，然后是Ubuntu18.04，显卡是Nvidia 2080TI1. Win10,Ubuntu18.04双系统安装见我另一篇博客2.安装显卡驱动如果只想在Windows下玩深度环境的可以看我另外一篇博客删除系统自带的不适配的NVIDIA驱动sudo apt-get purge nvidia-*安装完毕后，通过命令行方式禁用自带...
2019-07-25 10:02:24
2151
原创 【问题解决】/dev/sda6:clean ***/*** files, ***/***blocks
换了显卡，启动Ubuntu时候发现黑屏上提示一行字/dev/sda6:clean ***/*** files, ***/***blocks，一直卡在这里，按照网上帖子所说的使用fcsk命令等试过无效。最终琢磨出的解决方案如下:重新安装Ubuntu18.04安装2080TI驱动1.删除系统自带的不适配的NVIDIA驱动sudo apt-get purge nvidia-*2.安装完毕后，通过...
2019-07-24 17:20:29
13488
4
原创 Google BERT最全资源收集
本文资源均收集自网络，方便大家研究和使用Google BERT模型BERT论文：BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding论文解读：站在BERT肩膀上的NLP新秀们（PART I）站在BERT肩膀上的NLP新秀们（PART II）如何可视化BERT？BERT相关论文...
2019-07-17 18:05:32
441
原创 【论文阅读笔记】Using the Output Embedding to Improve Language Model
设Word2Vec等词向量训练模型的输入词向量为U，输出词向量为V，通常模型训练完成后，只是用U作为预训练词向量给其他上游模型使用，V通常忽略，本文探讨了U和V使用的效果，已经联合使用U和V的想过，得出以下结论：1、在Word2Vec Skipgram模型中，输出词向量与输入词向量的效果相比稍差。2、在基于RNN的语言模型中，输入词向量比输入词向量想过更好。3、通过...
2019-07-06 22:18:30
1523
原创 【论文阅读笔记】Character-level Convolutional Networks for Text Classification
Char-CNN论文：Character-level Convolutional Networks for Text Classification论文解读： * 简书论文翻译 * 《Character-level convolutional networks for text classification》论文网络结构解读论文源码： * 基于字符的卷积神经网络实现文本分类（cha...
2019-06-28 10:38:50
1447
原创 【论文代码调测】Convolutional Neural Networks for Sentence Classification
TextCNN论文地址：Convolutional Neural Networks for Sentence Classification论文解读： A Sensitivity Analysis of (and Practitioners’ Guide to) Convolutional Neural Networks for Sentence Classification 这是一篇使用Tex...
2019-06-26 09:54:47
666
1
原创 多种方法使用GloVe
本文的写作参考可网上很多博客，再次感谢，参考到的博文列在下面，本文对Glove原理，纯Python实现，Pytorch实现，官方C语言方式编译，以及简单方式使用进行记录，方便后面学习的童鞋。论文地址：GloVe: Global Vectors for Word Representation论文解读:GloVe模型的理解及实践GloVe详解论文分享–>GloVe: Global V...
2019-06-23 21:05:30
6992
原创 Anaconda中构建深度学习开发环境记录（Win10下测试）
有人问我Win10下深度学习环境的构建，个人觉得应该和Win7差不多，但出于负责还是亲自尝试记录一下。下面所说的命令都是亲测可用的。我的平台是：Python3.6(Anaconda4.3)+CUDA10.0+windows10，提前去NVIDIA官网下载CUDA和cuDNN，配置见我的另一篇博客，这里不再赘述设置源2019年6月5日Anaconda清华源又恢复使用了，很好！！在anna...
2019-06-22 16:32:29
1562
原创 【避免入坑】混合硬盘上安装Win10+Ubuntu18.04双系统需要注意的细节
因为系统崩溃且之前使用Win7分区不合理，所以直接重装，这里改用Win10，我的电脑配置是512G SSD+4T机械+32GB内存+Nvdia2080ti显卡，本文只是将安装中需要注意的细节说明，不重复所有细节，具体完整的安装网上已经有很多教程。## 一.安装Win10使用U盘安装，比较简单，下载老毛桃装机工具，将网上下载的Win10写入即可，这方面网上教程很多，不赘述，值得注意的几...
2019-06-22 09:55:45
2122
原创 【论文阅读笔记】A Sensitivity Analysis of (and Practitioner Guide to) Convolutional Neural Networks for Sent
本文对TextCNN（原论文：Convolutional Neural Networks for Sentence Classification）做了大量调参实验，给出了很多使用TextCNN进行文本分类的具体建议。TextCNN的论文解析在网上有很多已有的博客可以参考，这里只是简述。TextCNN结构如图：网络原理简述：网络输入是句子，其中的每个单词已经通过one-hot、...
2019-06-21 10:41:43
2079
原创 【论文代码调测】A Convolutional Neural Network for Modelling Sentences
本论文使用Dynamic K-max pooling和宽卷积提升句子建模精度，在NLP中，当卷积核的长度相对于输入向量的长度比较大，需要使用宽卷积，在TensorFlow的CNN实现中，padding='SAME'表示宽卷积，padding='VALID'实现的是窄卷积，关于宽窄卷积的说明可以参考这篇博客。本文在github源码Python2.7基础上迁移到Python3.6.8进行调...
2019-06-01 21:39:24
312
原创 [学习笔记]Pytorch迁移学习实例
本文参考Pytorch官方教程，个人觉得代码结构写得非常好，很值得借鉴使用，所以转发分享，另外将调试中遇到的问题和解决一起说明一下。目前在CNN上的迁移学习的主要场景主要有两大类：1.CNN微调：使用预训练的CNN参数初始化网络，而不是随机初始化网络，如使用在imagenet上进行预训练的网络参数进行初始化；2.将CNN作为固定的特征提取方式：除了最后的全连接层，其余层全部冻结，最后的...
2019-05-19 09:04:23
2807
3
原创 【论文阅读笔记】RETAIN: An Interpretable Predictive Model for ealthcare using Reverse Time Attention Mechani
本文发布在NIPS2016，论文代码：https://github.com/mp2893/retain.本文核心模型如图：文章将事件序列建模为心力衰竭诊断的预测因子的方法表明，复杂模型可以提供更高的预测精度和更精确的解释能力。考虑到RNNs对序列数据分析的能力，文章提出了RETAIN，在保持RNN预测能力的同时允许更高程度的解释。RETAIN的核心思想是通过复杂的注意力生成过程提高预测...
2019-05-05 16:09:58
1057
1
原创 清华源失效后如何安装pytorch1.01
今天本想体验下最新版的pytorch1.01，结果发现conda install时候HTTP error了，查了一下原来从4月25日其国内的清华源、中科大源等陆续关停服务，无奈又只能恢复到Anaconda官网的原始源，我的心情拔凉拔凉的，只能这样啦，安装过程中如何提速记录分享一下。我的GPU是Nvidia 2080ti，CUDA版本10.0，所以我在不同的虚环境中同时安装CPU版...
2019-04-28 22:05:56
5638
1
原创 【论文阅读笔记】Learning Hierarchical Representations of Electronic Health Records for Clinical Outcome
本文发布在arxiv 2019 基于电子病历(EHR)的临床结局预测对提高医疗质量起着至关重要的作用。传统的深度序列模型无法捕捉到长而不规则的临床事件序列中编码的丰富的时间模式。长时间尺度的临床事件表现出较强的时间模式，而短时间内的事件往往是无序的共现。因此，本文提出了不同时间尺度的临床事件模型的不同机制。本文提出的模型学习事件序列的层次表示，自适应地区分短期和长期事件，并准确...
2019-04-25 17:13:29
614
1
原创 【论文阅读笔记】Linguistic Knowledge and Transferability of Contextual Representations
本文发布在arxiv 2019 preprint 通过十六种不同的探究任务来研究语境化知识和语境化词语表示的可迁移性。预训练的上下文相关词向量足以在广泛的NLP任务中实现高性能。对于需要特定信息但未被上下文单词表示捕获的任务，学习特定任务的上下文特征有助于在词向量中编码必要的知识。此外，对情境化层的可迁移性模式的分析表明，LSTM的最低层编码最具可迁移的特征，而Transofor...
2019-04-21 08:55:05
708
原创 【论文阅读笔记】The Effectiveness of Multitask Learning for Phenotyping with Electronic Health Records Data
本文发布在arxiv 2019 电子表型分析的任务是通过分析其医疗记录来确定个人是否具有感兴趣的医学病症，并且是临床信息学的基础。电子表型越来越多地通过监督学习来完成。本文使用电子健康记录（EHR）数据研究多任务学习对表型分析的有效性。多任务学习旨在通过共同学习其他辅助任务来提高目标任务的模型性能，并已用于机器学习的不同领域。但是，它在应用于EHR数据时的效用尚未确定，之前的工作...
2019-04-20 15:51:00
189
原创 【论文阅读笔记】An Unsupervised Learning Model for Deformable Medical Image Registration
图像配准是图像处理研究领域中的一个典型问题和技术难点，其目的在于比较或融合针对同一对象在不同条件下获取的图像，例如图像会来自不同的采集设备，取自不同的时间，不同的拍摄视角等等，有时也需要用到针对不同对象的图像配准问题。具体地说，对于一组图像数据集中的两幅图像，通过寻找一种空间变换把一幅图像映射到另一幅图像，使得两图中对应于空间同一位置的点一一对应起来，从而达到信息融合的目的。本文发表在2018...
2019-03-24 10:11:49
4576
1
原创 Python中的浅复制与深复制
Python中的标识、 相等性和别名1.is，id和==>>> charles = {'name': 'Charles L. Dodgson', 'born': 1832}>>> lewis = charles ➊>>> lewis is charlesTrue>>> id(charles), id(lewis) ...
2019-03-22 15:44:35
550
原创 Python装饰器简介
1.装饰器实现的基本问题基本的Python装饰器@function_wrapperdef function(): pass以上代码等价于：def function(): passfunction = function_wrapper(function)使用类来实现装饰器class function_wrapper(object): def __ini...
2019-03-22 14:39:15
132
原创 卷积神经网络的模型训练技巧
本文cifar10图片分类的例简要说明卷积神经网络中的模型训练技巧，这里我们暂且不提训练的结果的准确度。代码都很简单，不做过多解读。1.基本的模型这里使用的就是普通的卷积加池化，最后通过global average pooling输出10个向量经softmax分类：import tensorflow as tfimport numpy as npimport matplotlib.ima...
2019-03-20 21:55:29
2737
原创 【论文阅读笔记】HetConv: Heterogeneous Kernel-Based Convolutions for Deep CNNs
论文地址：https://arxiv.org/abs/1903.04120 本文是CVPR2019上发表的一篇文章，文章主要设计了新的滤波器结构，在大幅减少FLOPS的前提下还能保证延迟和准确性。 文章将现有的卷积过滤器大致分为三类：1）深度方面的卷积过滤器，用于执行逐深度的卷积（DWC）2）点方面的卷积过滤器，用于执行逐点卷积（PWC）3）分组方面的卷积...
2019-03-19 15:15:41
2879
3
原创 【论文阅读笔记】Supervised Learning of Universal Sentence Representations from Natural Language Inference Da
本文是Facebook AI team发表在EMNLP2018，个人觉得比较有意思。文章主要目的是验证NLP领域做迁移学习的可行性，在多种NLP任务上进行sentence level的embedding，实验得出在NLI任务上进行预训练的表达在迁移学习的效果上是最好的，作者认为这是由于NLI任务使得句子向量中蕴含了句法或知识等对句子含义的理解。文章同时还探索了做NLI迁移学习的不同模...
2019-03-16 09:35:59
710
转载 使用NetworkX绘制深度神经网络结构图
本文转载自微信公众号Python中文社区，作者：jclian，展示如何利用Python中的NetworkX模块来绘制深度神经网络（DNN）结构图。已知我们创建的DNN结构图如下：DNN结构示意图该DNN模型由输入层、隐藏层、输出层和softmax函数组成，每一层的神经元个数分别为4,5,6,3,3。不知道聪明的读者有没有发现，这张示意图完全是由笔者自己用Python绘制出来的，...
2019-02-28 11:26:37
1191
原创 【论文阅读笔记】RADnet: Radiologist level accuracy using deep learning for hemorrhage detection in CT scans
本文发布在IEEE Symposium on Biomedical Imaging (ISBI) 2018，通过深度学习检测CT中的脑出血。根据作者描述，本文旨在模拟医生检测三维CT的方式构建网络结构，即：在遍历二维切片的同时重点关注潜在的出血区域。本文的网络结构如图：文章亮点如下：1.基础网络结构是DenseNet，三个分叉的辅助出血区域分类任务使模型学会关注出血区域，分...
2019-02-28 10:49:12
437
原创 PlotNeuralNet-一款绘制神经网络的好工具
今天发现github上一款绘制神经网络的好工具，项目名称：PlotNeuralNet，clone下来试了一下，效果很好，目前主要支持的是卷积神经网络，卷积层、池化层、bottleneck、skip-connection、up-conv、Softmax等常规的层在代码中都有定义，还缺少RNN相关的可视化层展示，未来作者可能会补上。这里简单记录一下，分享给写论文插图不好绘制的朋友。...
2019-02-24 17:28:02
23096
19
原创 【论文阅读笔记】Direct Automatic Coronary Calcium Scoring in Cardiac and Chest CT
本文是IEEE Transactions on Medical Imaging 2018的文章。心血管疾病(CVD)是全球主要的死亡原因。心血管疾病发生的一个重要危险因素是冠状动脉钙(CAC)的含量。为了满足对CAC含量进行量化评分，之前的研究中采用机器学习的方式绕不开繁杂的特征工程，使用深度学习的方式计算成本较高，本文做出的贡献主要有：提出一种高效的计算模型，使用两个卷积神经网络，第一个网络执行...
2019-02-24 10:42:12
472
原创 BERT和Attention优质学习资源收集汇总
2018年是NLP丰收的一年，这一年中比较大火的又是BERT，而BERT又和2017年大火的Transformer相关，本文就网上阐释比较好的几篇关于这两个模型的文章进行简单收集，方便想了解这两个模型的研究者阅读。当然最权威的是官方论文和源码：Transformer：Attention is all you need BERT：Pre-training of Deep ...
2019-02-22 10:07:28
900
1
原创 [LSTM学习笔记9]How to Develop Generative LSTMs
一.生成模型概述LSTM可以被用于生成模型，如Language Modeling：给定一个序列的大型语料库，用于生成风格类似的输出序列，常被用于文本生成，具体可以参看论文：Generaing Text with Recurrent Neural Networks,2011Generaing Sequence with Recurrent Neural Networks,2013二.以形...
2019-02-20 17:47:15
287
原创 [LSTM学习笔记8]How to Develop Bidirectional LSTMs
一.结构1.概述Bidirectional RNN(BRNN)同时使用正向和反向的序列来进行预测，前提是需要在预测输出前知道完整的输入序列。其结构如图，具体可以参加论文《B idirectional Recurrent Neural Networks》2.实现(1)LSTM层中的参数go_backwards可以用于指定方向性：model = Sequential()model.add...
2019-02-20 16:30:47
3629
1
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人