深度学习
文章平均质量分 68
深度学习学习笔记
GUI Research Group
机器学习, 生物信息
展开
-
文献学习(partX)--A Comprehensive Survey on Deep Clustering: Taxonomy, Challenges, and Future Directions
聚类是一项基本的机器学习任务,在文献中已经被广泛研究. 经典的聚类方法遵循的假设是,通过各种表征学习技术,将数据以矢量的形式表示为特征. 随着数据变得越来越复杂,浅层(传统)聚类方法已经无法处理高维数据类型. 随着深度学习的巨大成功,特别是深度无监督学习,在过去的十年中,许多具有深度架构的表示学习技术被提出. 一个直接的方法是先学习深度表征,然后再将其输入浅层聚类方法。原创 2022-12-08 21:06:48 · 10 阅读 · 0 评论 -
文献学习(part104)--A Survey of Deep Learning and Its Applications: A New Paradigm to Machine Learning
现在,深度学习是一个current和stimulating的机器学习领域。深度学习是最有效的、有监督的、有时间和成本效益的机器学习方法。深度学习不是一种限制性的学习方法,但它遵守各种程序和拓扑结构,可以应用于巨大的复杂问题的样本。该技术以一种非常分层的方式学习illustrative 和 differential特征. 深度学习方法已经取得了重大突破,在各种应用中都有不错的表现,并具有有用的安全工具。它被认为是通过采用反向传播算法发现高维数据中复杂结构的最佳选择。由于深度学习在众原创 2022-12-06 10:37:07 · 309 阅读 · 1 评论 -
文献学习(part103)--Inductive Representation Learning on Large Graphs
大图中节点的低维嵌入已被证明在各种预测任务中非常有用,从内容推荐到识别蛋白质功能. 然而,大多数现有的方法要求在训练嵌入时图中的所有节点都存在;这些以前的方法本质上是归纳性的,不能自然地推广到未见过的节点. 在这里,我们提出了GraphSAGE,这是一个通用的归纳框架,利用节点特征信息(如文本属性)来为以前未见过的数据有效地生成节点嵌入。我们不是为每个节点训练单独的嵌入,而是学习一个函数,通过从节点的本地邻域采样和聚合特征来生成嵌入。原创 2022-11-30 16:06:29 · 832 阅读 · 0 评论 -
文献记录(part106)--GRAPH AUTO-ENCODER VIA NEIGHBORHOOD WASSERSTEIN RECONSTRUCTION
学习笔记,仅供参考,有错必纠阅读状态:略读GRAPH AUTO-ENCODER VIA NEIGHBORHOOD WASSERSTEIN RECONSTRUCTIONABSTRACTGraph neural networks (GNNs) have drawn significant research attention recently, mostly under the setting of semi-supervised learning. When task-agnostic repres原创 2022-05-28 15:13:13 · 248 阅读 · 0 评论 -
文献学习(part97)--Graph Attention Auto-Encoders
学习笔记,仅供参考,有错必纠关键词:Attributed graph representation learning, attributed network embedding, unsupervised graph learning, inductive graph learning文章目录Graph Attention Auto-EncodersABSTRACTINTRODUCTIONRELATEDWORKGraph Representation LearningAttributed Graph原创 2022-05-06 16:33:51 · 855 阅读 · 0 评论 -
经典DL论文研读(part4)--ImageNet Classification with Deep Convolutional Neural Networks
学习笔记,仅供参考,有错必纠文章目录ImageNet Classification with Deep Convolutional Neural Networks摘要IntroductiondatasetArchitectureTraining on Multiple GPUsTraining on Multiple GPUsLocal Response NormalizationOverall ArchitectureReducing OverfittingData AugmentationDropo原创 2022-02-08 10:48:44 · 1824 阅读 · 0 评论 -
经典DL论文研读(part3)--Improving neural networks by preventing co-adaptation of feature detectors
学习笔记,仅供参考,有错必纠文章目录Improving neural networks by preventing co-adaptation of feature detectorsAbstract实验阐述Improving neural networks by preventing co-adaptation of feature detectorsAbstract一个大型前馈神经网络在一个样本量较少的数据集中可能会出现训练集结果非常好,测试集结果较差的情况,这就是出现了【过拟合】. 通过随原创 2022-01-30 15:20:54 · 2001 阅读 · 0 评论 -
经典DL论文研读(part2)--Deep Sparse Rectifier Neural Networks
学习笔记,仅供参考,有错必纠文章目录Deep Sparse Rectifier Neural NetworksAbstractIntroductionBackgroundDeep Rectifier NetworksExperimental StudyImage Recognition实验结果稀疏性实验结果半监督与监督学习ConclusionDeep Sparse Rectifier Neural NetworksAbstract本文提出一种RELU激活函数,该激活函数可以激发稀疏性,可以获得与原创 2022-01-30 11:48:30 · 1534 阅读 · 0 评论 -
经典DL论文研读(part1)--Understanding the difficulty of training deep feedforward neural networks
学习笔记,仅供参考,有错必纠文章目录Understanding the difficulty of training deep feedforward neural networksAbstractDeep Neural NetworksExperimental Setting and DatasetsOnline Learning on an Infinite Dataset Shapeset-3*2Finite DatasetsExperimental SettingEffect of Activa原创 2022-01-29 15:48:53 · 779 阅读 · 0 评论 -
PyTorch基础(part8)--LSTM
学习笔记,仅供参考,有错必纠文章目录代码问题分析初始设置导包载入数据模型代码问题分析我们将图片看成是一种序列问题,比如将28*28的图像中的每行看成一维度为28的一条数据,那么28行则可以看成按照时间顺序排列的28条数据.初始设置# 支持多行输出from IPython.core.interactiveshell import InteractiveShellInteractiveShell.ast_node_interactivity = 'all' #默认为'last'导包#原创 2022-01-24 19:29:06 · 745 阅读 · 0 评论 -
PyTorch基础(part6)--Dropout
学习笔记,仅供参考,有错必纠文章目录Dropout代码初始设置导包载入数据模型DropoutDropout可以抵抗过拟合的状态,但是不是在所有情况下使用Dropout,模型精度都会提高,一般而言在更为复杂的模型中Dropout会发挥更大的作用.代码初始设置# 支持多行输出from IPython.core.interactiveshell import InteractiveShellInteractiveShell.ast_node_interactivity = 'all' #默认为原创 2022-01-24 15:40:17 · 1064 阅读 · 0 评论 -
PyTorch基础(part7)--CNN
学习笔记,仅供参考,有错必纠文章目录理论卷积神经网络CNN局部感受野和权值共享卷积计算池化PoolingPaddingLeNET-5代码初始设置导包载入数据模型理论卷积神经网络CNN卷积神经网络是近年发展起来,并广泛应用于图像处理,NLP等领域的一种多层神经网络。局部感受野和权值共享CNN通过局部感受野和权值共享减少了神经网络需要训练的参数个数,从而解决了传统BP权值太多,计算量太大,需要大量样本进行训练的问题.卷积计算卷积核也叫滤波器,不同的卷积核 对 同样的图片做卷积之后会提取出不同原创 2022-01-24 19:18:37 · 424 阅读 · 0 评论 -
PyTorch基础(part5)--交叉熵
学习笔记,仅供参考,有错必纠文章目录原理代码初始设置导包载入数据模型原理交叉熵(Cross-Entropy)Loss=−(t∗lny+(1−t)ln(1−y))Loss =-(t*\ln y + (1-t) \ln (1-y))Loss=−(t∗lny+(1−t)ln(1−y))代码初始设置# 支持多行输出from IPython.core.interactiveshell import InteractiveShellInteractiveShell.ast_node_i原创 2022-01-24 15:16:47 · 888 阅读 · 0 评论 -
PyTorch基础(part4)
学习笔记,仅供参考,有错必纠文章目录PyTorch 基础MNIST数据识别常用代码导包载入数据定义网络结构PyTorch 基础MNIST数据识别常用代码# 支持多行输出from IPython.core.interactiveshell import InteractiveShell InteractiveShell.ast_node_interactivity = 'all' #默认为'last'导包# 导入常用的包import torchfrom torch import原创 2021-10-28 17:20:26 · 129 阅读 · 0 评论 -
PyTorch基础(part3)
学习笔记,仅供参考,有错必纠文章目录PyTorch 基础线性回归常用代码导包生成数据构建神经网络模型非线性回归生成数据构建神经网络模型PyTorch 基础线性回归常用代码# 支持多行输出from IPython.core.interactiveshell import InteractiveShell InteractiveShell.ast_node_interactivity = 'all' #默认为'last'导包# 导入常用的包import torchfrom torch原创 2021-10-28 09:24:28 · 113 阅读 · 0 评论 -
PyTorch基础(part2)
学习笔记,仅供参考,有错必究文章目录PyTorch基础基本操作加法减法/乘法/除法求和、最大、最小数据的索引求导PyTorch基础基本操作# 导入常用的包import torchimport numpy as np加法a = torch.randint(1, 5, (2, 3))b = torch.randint(1, 5, (2, 3))abtensor([[4, 1, 4], [3, 3, 2]])tensor([[3, 4, 2],原创 2021-10-27 21:25:39 · 157 阅读 · 0 评论 -
分布式与人工智能课程(part15)--深度学习
学习笔记,仅供参考,有错必纠文章目录复习小练习以矩阵运算仿真神经网络Tensorflow张量运算仿真神经网络以正态分布的随机数产生权重与偏差的初始值执行一次sess.run可以取得3个Tensorflow变量正态分布的随机数tf.random_normal以placeholder传入x值以placeholder传入1X3的二维数组以placeholder传入3X3的二维数组创建layer函数以矩阵运算方式仿真神经网络layer函数使用layer函数建立3层神经网络复习小练习import tenso原创 2021-05-27 09:19:07 · 181 阅读 · 0 评论 -
分布式与人工智能课程(part16)--深度学习
学习笔记,仅供参考,有错必纠文章目录2个小知识点求y = (x+1)^2取最小值时的x和y求解等式 a * 5 = 500 中的未知量拟合f=2x只使用tf.Variable李金洪书上代码(使用tf.Variable和tf.placeholder)简化代码(主要对变量进行了重命名)拟合f =sin(x)梁佩莹书上代码简化代码(主要对变量进行了重命名)2个小知识点import numpy as npa = np.linspace(-1, 1, 100)#aarray([-1.原创 2021-05-27 09:24:24 · 177 阅读 · 0 评论 -
分布式与人工智能课程(part14)--深度学习
学习笔记,仅供参考,有错必究文章目录常用代码建立计算图执行计算图feed_dict 与 placeholderfeed_dict的使用placeholder 与 feed_dict的使用Tensorflow数值运算方法介绍tf.squaretf.equal、tf.casttf.agrmaxtf.one_hottf.reduce_mean、tf.reduce_sum、tf.log及多分类交叉熵的计算已知预测值和真实值,计算准确率tf.multiply 和tf.matmultf.clip_by_valuet原创 2021-05-20 10:13:36 · 172 阅读 · 0 评论 -
PyTorch基础(part1)
学习笔记,仅供参考,有错必究文章目录PyTorch基础PyTorch CPU版安装导包构造tensortensor的基本属性生成数据PyTorch基础PyTorch CPU版安装首先进入PyTorch官网;按照自己的情况,选择想要安装的PyTorch版本,如下图所示:将上图中,被红色长方形 框住的代码复制到cmd中,并进行如下修改:pip install -i https://pypi.tuna.tsinghua.edu.cn/simple torch torchvision tor原创 2021-10-27 17:43:45 · 231 阅读 · 0 评论