to2-CSDN博客

原创深度学习学习4

深度学习介绍与反向传播1、深度学习历史1958年感知机被发明，1969年感知机被认为存在局限，1980年多层感知机被发明，86年反向传播算法出现，06年RBM算法被提出，09年GPU诞生，此后就进入了深度学习技术快速发展的时代深度学习的三个步骤：设计神经网络模型评估（一般使用损失函数来判断模型好坏）选择最优函数（一般使用梯度下降法）隐藏层一层就能表示所有情况，为什么还需要多层？2、反向传播损失函数这里的L是定义的损失函数，我们的目的就是让这个损失函数最小前向传播部分反向传播

2021-07-18 23:32:14 207 2

原创深度学习学习2

假设有10个x_data和y_data，x和y之间的关系是y_data=b+w*x_data。b，w都是参数，是需要学习出来的。现在用梯度下降找到b和w。import numpy as npimport matplotlib.pyplot as pltfrom pylab import mpl# matplotlib没有中文字体，动态解决plt.rcParams['font.sans-serif'] = ['Simhei'] # 显示中文mpl.rcParams['axes.unicode_

2021-07-14 12:49:13 161

原创深度学习学习1

深度学习的分类监督学习通过有标签的数据训练模型半监督学习只有一部分数据具有标签，但是没有标签的数据也可能会对学习有帮助，可以使用半监督的方式来学习数据内在关联迁移学习将已学习到的知识迁移到未学习的知识中无监督学习对于无标签数据的学习结构性学习对于具有结构性的数据的学习，比如语音强化学习强调如何基于环境而行动，以取得最大化的预期利益...

2021-07-12 17:36:07 140

原创图神经网络学习总结

总结：1、学习了基本图论知识、了解了pyg包2、学习了图的消息传递原理，并通过继承MessagePassing基类来构造自己的图神经网络类3、学习实现多层图神经网络的方法，并以节点分类任务为例，学习训练图神经网络的一般过程。以PubMed数据集为例子，对MLP和GCN, GAT（两个知名度很高的图神经网络）三类神经网络在节点分类任务中的表现进行比较分析，以此来展现图神经网络的强大和论证图神经网络强于普通深度神经网络的原因。4、使用pyg中不同的卷积层、不同层数、每层不同的神经元对节点进行预测5、学

2021-07-10 23:00:17 404 2

原创图神经网络学习7

超大规模数据集类的创建在一些应用场景中，数据集规模超级大，我们很难有足够大的内存完全存下所有数据。因此需要一个按需加载样本到内存的数据集类。在此上半节内容中，我们将学习为一个包含上千万个图样本的数据集构建一个数据集类。Dataset基类简介在PyG中，我们通过继承torch_geometric.data.Dataset基类来自定义一个按需加载样本到内存的数据集类。此基类与Torchvision的Dataset类的概念密切相关，这与第6节中介绍的torch_geometric.data.InMemory

2021-07-09 23:32:29 317 3

原创图神经网络学习6

作业请画出下方图片中的6号、3号和5号节点的从1层到3层到WL子树。答案：

2021-07-06 00:42:56 815

原创图神经网络5

Cluster-GCN图神经网络已经成功地应用于许多节点或边的预测任务，然而，在超大图上进行图神经网络的训练仍然具有挑战。主要面临两个问题：随着图神经网络层数增加，计算成本呈指数增长保存整个图的信息和每一层每个节点的表征到内存（显存）而消耗巨大内存（显存）空间当前两种主要的梯度下降方法：Full-batch gradient descent内存消耗大、时间复杂度低、难收敛Mini-batch gradient descent内存消耗小、时间复杂度高、较容易收敛论文Clust

2021-07-02 00:59:03 278

原创图神经网络学习4

节点的预测任务首先定义图神经网络的网络结构，这里使用了torch_geometric.nn.Sequential容器，详细内容可见于官方文档。我们通过hidden_channels_list参数来设置每一层GATConv的outchannel，通过修改hidden_channels_list，我们就可构造出不同的图神经网络。这里通过了三种方式改变网络结构1、使用不同的卷积层2、使用不同的层数3、每层的不同的神经元个数1、通过不同的卷积层这里使用了GCNConv、GATConv、SAGECon

2021-06-27 21:36:13 858

原创图神经网络学习3

基于图神经网络的节点表征学习本文内容来自Datawhale开源课程引言在图节点预测或边预测任务中，首先需要生成节点表征（Node Representation）。我们使用图神经网络来生成节点表征，并通过基于监督学习的对图神经网络的训练，使得图神经网络学会产生高质量的节点表征。高质量的节点表征能够用于衡量节点的相似性，同时高质量的节点表征也是准确分类节点的前提。本节中，我们将学习实现多层图神经网络的方法，并以节点分类任务为例，学习训练图神经网络的一般过程。我们将以PubMed数据集为例子进行说明。我们

2021-06-23 19:09:29 190

原创图神经网络学习2

1、消息传递原理为节点生成节点表征（Node Representation）是图计算任务成功的关键，我们要利用神经网络来学习节点表征。消息传递范式是一种聚合邻接节点信息来更新中心节点信息的范式，它将卷积算子推广到了不规则数据领域，实现了图与神经网络的连接。消息传递范式因为简单、强大的特性，于是被人们广泛地使用。遵循消息传递范式的图神经网络被称为消息传递图神经网络。具体来说就是：1）首先从邻居获取信息：计算红色节点周围的四个邻居节点的消息总和。2）对获得的信息加以利用：将获得的消息与(k-1)时刻红色

2021-06-20 02:00:14 142

原创图的基本数据结构

文章目录图的基本数据结构一、图的表示二、图的属性三、图的种类四、图结构数据上的机器学习五、应用神经网络于图面临的挑战六、pytorch_geometric学习Data Handling of Graphsexample7、作业实践图的基本数据结构本文主要内容来自datawhale开源课程一、图的表示定义一（图）：一个图被记为G={V,E}\mathcal{G}=\{\mathcal{V}, \mathcal{E}\}G={V,E}，其中 V={v1,…,vN}\mathcal{V}=\left\

2021-06-16 19:41:16 3852

原创集成学习之蒸汽量预测

背景介绍火力发电的基本原理是：燃料在燃烧时加热水生成蒸汽，蒸汽压力推动汽轮机旋转，然后汽轮机带动发电机旋转，产生电能。在这一系列的能量转化中，影响发电效率的核心是锅炉的燃烧效率，即燃料燃烧加热水产生高温高压蒸汽。锅炉的燃烧效率的影响因素很多，包括锅炉的可调参数，如燃烧给量，一二次风，引风，返料风，给水水量；以及锅炉的工况，比如锅炉床温、床压，炉膛温度、压力，过热器的温度等。我们如何使用以上的信息，根据锅炉的工况，预测产生的蒸汽量，来为我国的工业届的产量预测贡献自己的一份力量呢？所以，该案例是使用以上工业

2021-05-24 00:12:41 214

原创集成学习之幸福感预测

赛题概述问题描述幸福感是一个古老而深刻的话题，是人类世代追求的方向。与幸福感相关的因素成千上万、因人而异，大如国计民生，小如路边烤红薯，都会对幸福感产生影响。这些错综复杂的因素中，我们能找到其中的共性，一窥幸福感的要义吗？另外，在社会科学领域，幸福感的研究占有重要的位置。这个涉及了哲学、心理学、社会学、经济学等多方学科的话题复杂而有趣；同时与大家生活息息相关，每个人对幸福感都有自己的衡量标准。如果能发现影响幸福感的共性，生活中是不是将多一些乐趣；如果能找到影响幸福感的政策因素，便能优化资源配置来提升国

2021-05-18 22:03:32 214

to222的博客