深度学习
文章平均质量分 95
快乐星球小怪兽
我很懒,不想添加简介
展开
-
图像分类的Tips和Tricks
图像分类技巧汇总原创 2022-12-29 20:10:27 · 1021 阅读 · 1 评论 -
DataWhale深度学习(五)循环神经网络
循环神经网络1 计算图2 RNN基本原理3 RNN训练算法BPTT4 LSTM基本原理5 其他RNN网络6 RNN主要应用参考资料循环神经网络(recurrent neural network, RNN) 是一类用于处理序列数据的神经网络。1 计算图计算图是形式化一组计算结构的方式,它的元素包括节点(node)和边(edge),节点表示变量,可以是标量、矢量、张量等,而边表示的是某个操作,即函数。用两个计算图来表示一个嵌套函数:还可以用一个图来表示一个复合函数:对于计算图的求导可以使用链式法原创 2021-12-01 12:04:20 · 864 阅读 · 0 评论 -
DataWhale深度学习(四)卷积神经网络
卷积神经网络1 卷积2 卷积神经网络基本原理2.1 卷积层2.2 激活函数2.3 池化层2.4 全连接层2.5 输出层2.6 卷积神经网络的训练3 经典卷积神经网络3.1 LeNet-53.2 AlexNet3.3 VGGNet3.4 Inception Net3.5 ResNet3.6 DenseNet4 主要应用卷积神经网络是指哪些至少在一层中使用卷积运算代替一般的矩阵乘法运算的神经网络,是一种专门用来处理具有类似网格结构的数据的神经网络,例如图像数据。该网络使用了卷积这种数学运算,这是一种特殊的线性原创 2021-11-27 15:14:42 · 963 阅读 · 0 评论 -
DataWhale深度学习(三)前馈神经网络
前馈神经网络1 神经元模型2 感知器模型2.1 单层感知器2.2 多层感知器3 误差反向传播算法(BP算法)3.1 基本过程3.2 激活函数3.3 优化问题参考1 神经元模型1943 年,美国神经生理学家沃伦·麦卡洛克( Warren McCulloch ) 和数学家沃尔特 ·皮茨(Walter Pitts )对生物神经元进行建模,首次提出了一种形式神经元模型,并命名为McCulloch-Pitts模型,即后来广为人知的M-P模型。在M-P模型中,神经元可以接受多个其他神经元的输出作为输入x={x1原创 2021-11-23 21:29:19 · 1454 阅读 · 0 评论 -
DataWhale深度学习(二)机器学习基础
机器学习基础1 基本概念1 基本概念原创 2021-11-20 16:53:48 · 1084 阅读 · 0 评论 -
DataWhale深度学习(一)数学基础
深度学习数学基础1 绪论2 概率论3 信息论4 线性代数1 绪论近年人工智能异常火热,它虽然是一门新兴的学科,但是在图像、自然语言、语音等领域大放异彩。而各行各业也积极拥抱AI,使得机器学习技术炙手可热。深度学习作为机器学习的一部分也获得了大量的关注,特别是卷积神经网络在图像识别竞赛中获得巨大优势,以及DeepMind应用强化学习战胜世界围棋高手李世石,使得深度学习万众瞩目。深度学习的发展离不开数学,概率法则告诉我们AI系统如何推理,信息论使我们能够量化概率分布中的不确定性总量,对于算法以及AI框架的原创 2021-11-17 16:33:19 · 803 阅读 · 0 评论 -
DataWhale图网络学习(八)图预测任务实践
DataWhale图网络学习(七)超大规模数据集类的创建11原创 2021-07-08 23:05:33 · 386 阅读 · 0 评论 -
DataWhale图网络学习(七)超大规模数据集类的创建
超大规模数据集类的创建1 `Dataset`基类1.1 无需定义`Dataset`类情况2 图样本封装成批(BATCHING)与`DataLoader`类2.1 合并小图组成大图2.2 小图的属性增值与拼接前面介绍了可以将数据集全部加载到内存的数据集,然而在实际中,一般数据集都很大,无法全部加载到内存,因此我们需要了解按需加载样本到内存的数据集类。1 Dataset基类我们通过继承torch_geometric.data.Dataset基类来自定义一个按需加载样本到内存的数据集类,此基类与Torchv原创 2021-07-05 10:50:01 · 220 阅读 · 0 评论 -
DataWhale图网络学习(六)基于图神经网络的图表征学习方法
基于图神经网络的图表征学习方法1 图同构网络理论2 图同构网络实现前边我们已经了解了图节点的表征学习,其主要是根据节点的属性进行学习和预测,而现在我们要学习基于图神经网络的图表征的学习方法。图表征就是根据图的节点属性和边(及边的属性如果有的话)得到一个向量作为图的表征,基于这个表征我们再进行下一步的图预测。基于图同构网络How Powerful are Graph Neural Networks? 的图表征网络是当前最经典的图表征学习网络,我们就以这个为例来学习。图同构网络设计的动机是:目前新的图神经网原创 2021-07-03 21:18:47 · 482 阅读 · 1 评论 -
DataWhale图网络学习(五)超大图上的节点表征学习
超大图上的节点表征学习0 节点表征学习1 图网络面临的问题2 Cluster-GCN分析2.1 简单的Cluster-GCN2.2 随机多分区2.3 深层GCNs的训练问题3 Cluster-GCN实践3.1 数据集准备3.2 图节点聚类与数据加载器生成3.3 构造图神经网络的规范3.4 训练、验证与测试0 节点表征学习首先我们回忆一下图网络的节点表征学习,对于给定图G=(V,E,A)G=(\mathcal{V}, \mathcal{E}, A)G=(V,E,A),它由N=∣V∣N=|\mathcal{原创 2021-07-01 18:30:54 · 200 阅读 · 0 评论 -
DataWhale图网络学习(四)数据完全存于内存的节点预测与边预测实践
图网络学习四1 数据完全存于内存的数据集类1.1 `InMemoryDataset`基类简介2 节点预测实践3 边预测实践1 数据完全存于内存的数据集类1.1 InMemoryDataset基类简介在PyG中,我们通过继承InMemoryDataset类来自定义一个数据可全部存储到内存的数据集类:class InMemoryDataset(root: Optional[str] = None, transform: Optional[Callable] = None, pre_transform:原创 2021-06-25 18:02:59 · 390 阅读 · 0 评论 -
DataWhale图网络学习(三)基于图神经网络的节点表征学习
基于图神经网络的节点表征学习1 数据准备在图节点预测或边预测任务中,首先需要生成节点表征。高质量节点表征应该能用于衡量节点的相似性,然后基于节点表征可以实现高准确性的节点预测或边预测,因此节点表征的生成是图节点预测和边预测任务成功的关键。基于图神经网络的节点表征学习可以理解为对图神经网络进行基于监督学习的训练,使得图神经网络学会产生高质量的节点表征。在节点预测任务中,对于一个图上的很多节点,部分节点的标签已知,剩余节点的标签未知。将节点的属性(x)、边的端点信息(edge_index)、边的属性(edg原创 2021-06-22 11:17:55 · 757 阅读 · 0 评论 -
DataWhale图网络学习(二)消息传递图神经网络
消息传递图神经网络1 消息传递范式2 MessagePassing基类3 `MessagePassing`子类实例图计算任务成功的关键是为节点生成节点表征,而我们要利用神经网络来学习节点的表征。消息传递范式是一种聚合邻接节点信息来更新中心节点信息的范式,它将卷积算子推广到了不规则数据领域,实现了图与神经网络的连接。1 消息传递范式如下图所示,展示了基于消息传递范式的聚合邻接节点信息来更新中心节点信息的过程:图片来源于:Graph Neural Network • Introduction to G原创 2021-06-19 22:28:25 · 459 阅读 · 0 评论 -
DataWhale图网络学习(一)图论基础知识
图论基础知识1 图的表示1.1 图的定义(图)1.2 邻接矩阵2 图的属性2.1 节点的度2.2 邻接节点2.3 行走2.4 邻接矩阵A的n次方2.5 路径2.6 子图2.7 连通分量2.8 连通图2.9 最短路径2.10 直径2.11 拉普拉斯矩阵3 图的种类4 图结构数据上的机器学习5 图结构数据的特点和挑战5.1 图结构数据的特点5.1 深度学习在图结构数据上所面临的挑战1 图的表示1.1 图的定义(图)一个图被记为G={V,E}\mathcal{G}=\{\mathcal{V}, \math原创 2021-06-16 22:00:49 · 955 阅读 · 0 评论 -
人脸表情识别笔记
摘要通过人脸图片对表情进行识别,受人脸姿态等其他因素地影响很大,如果达到80则是一个不错地成绩,但是该任务不仅仅是一个分类问题。1 数据在实际的任务中图片的脸部是不规整的,可能是一个人或者多个人;图片的大小可能不统一;数据集较大,数量庞大,不能一次性输入内存进行计算,而应该分批。1.1 数据存储方法**形式一:**同一类的图片放到同一个文件夹下,文件夹以类别进行命名,如下图所示。**形式二:**两个文件夹,一个文件夹存放图片数据(非结构化数据),另一个CSV文件存储标签和路径。CSV文件中每一原创 2020-11-28 21:41:01 · 210 阅读 · 0 评论 -
卷积、深度学习中的卷积和反卷积
本文主要浅谈博主对信号处理中卷积操作、深度学习中卷积操作和反卷积的理解。原创 2020-10-09 16:59:42 · 922 阅读 · 2 评论