travalscx的博客

原创 interpretable machine learning

最近入了可解释机器学习的坑。Stop explaining black box machine learning models for high stakes decisions and use interpretable models instead1.模型的准确度和可解释度成反比，accuracy/ interpretability/explainability trade-off。有图...

原创 影响力最大化，传播模型

基本传播模型ICLTIM算法分类贪心算法KK（2003）CELF（2007）https://www.cnblogs.com/aaronhoo/p/6548760.htmlDegreeDiscount（2009）基于度数 中心度MaxDegree 选择图中度数最大的K个度。但会有邻居重叠SCG基于社区OASNET 基于社区的动态规划。假设社区是不联系的，但真实社区联系...

转载 （转载）详解EM算法与混合高斯模型(Gaussian mixture model, GMM)

https://blog.csdn.net/lin_limin/article/details/81048411最近在看传播模型的论文，涉及到了GMM和EM的知识

原创 论文笔记：C-RNN-GAN/ Continuous recurrent neural networks with adversarial training

使用中间层结合了RNN的GAN来生成时间序列数据

原创 论文笔记：Boosting Deep Learning Risk Prediction with Generative Adversarial Networks for Electronic Heal

结合多个网络 GAN CNN encoderdecoderGAN生成有类别标签的假样本

原创 论文笔记：Interpretable Deep Models for ICU Outcome Prediction

使用mimic learning用来更精确分分类。核心：retrain

原创 论文阅读：TEMPORAL CONVOLUTIONAL NEURAL NETWORKS FOR DIAGNOSIS FROM LAB TESTS

原创 论文阅读：时序EHR上的CNN

论文：Risk Prediction with Electronic Health Records: A Deep Learning ApproachExploiting Convolutional Neural Network for Risk Prediction with Medical Feature Embedding将EHR数据看成一个矩阵，每一行是一个记录，列在时间序列上。...

原创 论文笔记：Generating Multi-label Discrete Patient Records using Generative Adversarial Networks.pdf

使用GAN和autodecoder的联合网络来生成样本，解决医疗样本因为隐私性问题而比较少的问题。对于生成的样本，在生成G（z）之后，把他放入一个decoder网络中调整成适合输入的样本。这个decoder是真实样本x训练的autoencoder中的网络。...

原创 论文笔记：SleepNet：Automated Sleep Staging System via Deep Learning

目标：自动标记睡眠阶段，睡眠分为五个阶段。也就是一个分类问题。方法：将EEG信号的6个通道根据时间划分，例如每n秒划分一次，这样可以形成多个信号图，每个图包含6个波形。这样在时间序列上，每一段就是一个图。对图的信号进行傅立叶变换形成新的。使用RCNN来进行学习，卷积来提取图的特征，RNN来进行时间上的学习。pipline：...

原创 论文笔记：GRAM/ Graph-based Attention Model for Healthcare Representation Learning

论文提出一种数据丰富的方法，需要结合先验知识。

转载 受限制玻尔兹曼机RBM

http://baijiahao.baidu.com/s?id=1599798281463567369&wfr=spider&for=pc应用在推荐系统上https://www.jianshu.com/p/2e7ffe06fcdd?tdsourcetag=s_pcqq_aiomsg

原创 论文笔记：Deep Patient：An Unsupervised Representation to Predict the Future of Patients rom the Electron

Deep Patient：An Unsupervised Representation to Predict the Future of Patients from the Electronic Health Records总体流程A. 提取数据，数据预处理成向量B. autodecoder学习特征表示C. 学到的特征用于具体任务特征学习使用SDA（1）encoder（2）...

原创 论文笔记：Multi-layer Representation Learning for Medical Concepts

目的对于EHR数据的每个visit和每个code进行嵌入方法启发于skip-gram对于visit使用softmax上的交叉熵作为loss：对于code相比visit去掉加入侧写那一层，与visit网络共享Wc，可以一起学习。但在学习的时候对于code的Wc使用Wc’，Wc’=Relu（Wc）。这样可以吧Wc中的负值变成0，从而增加可解释性。同一个visit中的每两个cod...

原创 论文笔记：Inductive Representation Learning on Large Graphs

一个公众号的推送：https://mp.weixin.qq.com/s/9FlkgAERmIOamPtpIffQLg综述文章：https://www.jianshu.com/p/872509634a13

原创 ECG信号预处理

看论文中提出的与处理方法，将信号变成1d和2d输入网络

原创 论文笔记：Method to Annotate Arrhythmias by Deep Network

使用一个深度网络将ECG代表的arrhythmia分4类。深度网络综合了CNN，encoder-decoder和bidirectional RNN。网络开始使用基于cnn的encoder-decoder来将信号映射到特殊空间得到特征表示。这个特征表示在encoder后得到。之后将得到的特征表示使用bidirectional RNN进行分类。...

原创 RNN LSTM bidrectionalRNN GRU CRNN

rnn双向rnnlstm

原创 论文阅读：Using recurrent neural network models for early detection of heart failure onset

使用带有GRU的RNN来检测心力衰竭（HF）并与传统的方法对比，采用的数据是电子健康记录（EHR）而不是ECG。将EHR的单个event进行one-hot编码对于时间上发生的event，由单个event的one-hot向量构成时间上的向量序列（C图），这个序列作为神经网络的输入。升级方法：对one-hot使用skip-gram之后得到新的向量作为网络的输入。方法就是最基本的skip-...

原创 论文笔记：Convolutional Recurrent Neural Networks for Electrocardiogram Classification

提出两个网络来进行AF分类。一个是24层cnn，一个是24层cnn+3层LSTM

原创 论文笔记：Region Aggregation Network/ Improving Convolutional Neural Network for ECG Characteristic Detec

Region Aggregation Network/ Improving Convolutional Neural Network for ECG Characteristic Detection设计了一个叫做Region Aggregation Network（RAN）的网络来进行ECG8个特征点检测，RAN由一维卷积神经网络（CNN）和一个新的区域聚集模块RA组成，Region Aggre...

原创 AI医疗 机器学习 ECG 入门论文

Machine Learning in Medicine AI医疗概述，一些例子A Survey On Various Data Mining Techniques for ECG Meta Analysis 基本方法，对比各种方法，这些方法通过特征提取和分割对ECG分析来找出各种心脏疾病。介绍了模糊技术、svm、神经网络、马尔可夫方法 给出发展和基本的论文。使用的数据集是MIT-BIH、NS...

原创 论文笔记：Robust ECG Signal Classification for Detection of Atrial Fibrillation Using a Novel Neural Netw

6层1dcnn来识别AF（分成四个类别），使用skip connection残差网络来加速计算。实验数据：16层1D残差卷积神经网络：

原创 论文笔记：Real-Time Patient-Specific ECG Classification by 1-D Convolutional Neural Networks

对特定的病人训练CNN，一旦一个专门的CNN被训练为一个特定的病人，它就可以单独用于快速和准确地分类可能很长的心电图数据流，这样的解决方案可以方便地用于实际-轻型可穿戴设备上的定时心电图监测和早期报警系统。训练的数据有两部分：全局（每个患者通用）和局部（患者特定）培训模式。局部数据包含每个患者心电图记录的前5分钟片段，并作为培训数据的一部分用于执行患者适；全局数据集包含每个类的部分数据。对于...

原创 论文笔记：Deep Convolutional Neural Networks and Learning ECG Features for Screening Paroxysmal Atrial Fi

提出一个五层CNN来判别患者是否是PAF，也就是一个二分类问题；同时提出将CNN的前四层得到的作为特征之后连接其它方法，KNN，SVM等。

原创 论文笔记：Automated Detection of Arrhythmias Using Different Intervals of Tachycardia ECG Segments with C

Automated Detection of Arrhythmias Using Different Intervals of Tachycardia ECG Segments with Convolutional Neural Network主要是用cnn来识别不同种类的心律失常名词解释atrial fibrillation：心房颤动（简称房颤）是最常见的持续性心律失常。随着年龄增长房颤的...

原创 论文笔记：A Deep Convolutional Neural Network Model to Classify Heartbeats

使用9层cnn来对5类非危及生命的心律失常分类。通过识别心跳的种类可以实现心率异常、冠状动脉心脏病、心肌梗塞。心血管疾病有三大类：electrical、circulatory、structural。本文针对electrical类进行研究。electrical疾病分为两类：life-threatening and non-life-threatening。本文对non-life-threaten...

转载 论文笔记：Show, Attend and Tell: Neural Image Caption Generation with Visual Attention

Image Caption 看图说话

转载 论文阅读：Hierarchical Attention Networks for Document Classification

https://www.jianshu.com/p/b44743a90c25

原创 论文阅读：Agreement-Based Joint Training for Bidirectional Attention-Based Neural Machine Translation

双向注意力模型，尽可能使注意力在两个方向上保持一致模型的中心思想就是对于相同的training data，使source-to-target和target-to-source两个模型在alignment matrices上保持一致。这样能够去掉一些注意力噪声，使注意力更加集中、准确。这篇文章胜在idea,很巧妙地想到了让正反向的注意力一致来改进attention。...

原创 论文笔记：Effective approaches to attention-based neural machine translation

https://www.jianshu.com/p/1c24eba3ba9c本论文就提出了两种简单但却有效的注意力机制，全局注意力（global）和局部注意力（local）。本文提出的两种注意力机制（global & local）其本质区别在于，全局注意力会参考所有输入词，而局部注意力只会考虑部分输入词。全局注意力该注意力机制重点在于考虑所有输入的隐状态来生成语境向量。局部注意...

转载 一些Attention在NMT上的论文

http://tech.huanqiu.com/news/2016-11/9735838.html?agt=15438

原创 论文笔记：NEURAL MACHINE TRANSLATION BY JOINTLY LEARNING TO ALIGN AND TRANSLATE

https://blog.csdn.net/Doron15/article/details/81866095神经机器翻译不像传统的统计机器翻译，它的目的是建立一个单一的神经网络，使这个网络能够最大化翻译效果。NMT通常是编码器和解码器的结合，编码器把源语句转化为固定长度的向量，由解码器生成翻译。这篇论文认为使用固定长度的向量是提升编码器解码器结构效果的瓶颈，所以提出通过让模型自动（平滑地）搜索源...

原创 论文笔记：Attention Is All You Need

谷歌发表的文章，针对nlp里的机器翻译问题，提出了一种基于注意力机制的的网络结构–Transformer。https://blog.csdn.net/songbinxu/article/details/80332992以往nlp里大量使用RNN结构和encoder-decoder结构，RNN及其衍生网络的缺点就是慢，问题在于前后隐藏状态的依赖性，无法实现并行，而文章提出的”Transforme...

原创 论文笔记：Residual Attention Network for Image Classification

https://blog.csdn.net/u013738531/article/details/81293271Attention使得运算聚焦于特定区域，也可以使得该部分区域的特征得到增强。‘very deep’的网络结构结合残差连接（Residual Network）在图像分类等任务中表现出了极好的性能。因此结合attention和residual，突出残差注意力网络。https://...

原创 Attention Mechanism

AM的基本原理https://blog.csdn.net/wuzqchom/article/details/75792501http://www.360doc.com/content/18/0506/06/36490684_751494854.shtml这篇博客中的动图讲解很清楚 ：https://www.cnblogs.com/ydcode/p/11038064.html注意力机制可以...

原创 论文笔记：Label Efficient Learning of Transferable Representations across Domains and Tasks

一个使用了对抗网络和semantic transfer的迁移学习网络，用于图片分类任务。整个网络的目标函数：1 . 数据分为源域S的标签数据；目标域T的无标签数据；目标域T的有标签数据。2. 蓝色的网络是基本的分类学习网络，使用S数据学习得到；3. 绿色网络是针对域T域数据学习网络，初始化为S网络的参数；4. 对抗网络：使用Multi-layer domain adversarial...

原创 论文笔记：Net2Net

一篇入门解释的博客：https://blog.csdn.net/cFarmerReally/article/details/80927981论文是实现TL的一个network方法，目的是对于动态的数据需求不断扩大网络，而不是重新建立网络。在网络扩张的同时，实现了TL。基本理解：Net2Net(Net to Net) 是利用知识迁移来解决大型网络的训练速度慢的问题，例如先训练一个小的网络，然...

原创 论文笔记：How transferable are features in deep neural networks?

https://blog.csdn.net/weixin_37904412/article/details/80984405典型的神经网络：第一层通用，最后一层具体对于神经网络中层的表示，有以下问题：我们可以量化模型的某一层的特征到底是通用的还是具体的吗？转换是在某一层上突然发生，还是在几层上展开？这种转换发生在网络的什么地方：网络顶端，网络中间，还是网络底端？如果网络中的特征是通...

原创 论文笔记：Learning Transferable Features with Deep Adaptation Networks

一个翻译：https://wenku.baidu.com/view/401fea41a55177232f60ddccda38376baf1fe00c.htmlhttps://blog.csdn.net/wei_guo_xd/article/details/74059110这篇论文是使用mapping实现了DTLabstract在深度网络中，特征的可迁移性在高层中随着域的差异增加而显著下...