- 博客(14)
- 资源 (2)
- 收藏
- 关注
RSS订阅原创 图神经网络学习task08（总结篇)
本阶段的组队学习网站地址：[datawhale]本次组队学习的主要内容包括：1）简单图论知识2）实现图神经网络的通用范式3）分别用于节点、边、图预测的经典图神经网络4）图神经网络的编程实践。时间短暂，需要学的内容还很多，希望后期能进一步提高图神经网络在其他领域的落地应用，多读paper，复现顶会论文。感谢datawhale的奉献！！以后多多参与组队活动！！...
2021-07-10 20:35:37
178
原创 图神经网络学习task07（图预测任务实践）
一、本阶段的组队学习网站地址：[datawhale]二、本期主要学习内容：学习样本按需获取的数据集类的构造方法最后学习基于图表征学习的图预测任务的实践三、超大规模数据集类的创建在前面的学习中我们只接触了数据可全部储存于内存的数据集，这些数据集对应的数据集类在创建对象时就将所有数据都加载到内存。然而在一些应用场景中，数据集规模超级大，我们很难有足够大的内存完全存下所有数据。因此需要一个按需加载样本到内存的数据集类。在PyG中，我们通过继承torch_geometric.data.Dataset基类
2021-07-09 22:12:30
560
1
原创 图神经网络学习task06(基于图神经网络的图表示学习)
一、本阶段的组队学习网站地址：[datawhale]二、本期主要学习内容：学习基于图神经网络的图表征学习方法，图表征学习要求根据节点属性、边和边的属性（如果有的话）生成一个向量作为图的表征，基于图表征我们可以做图的预测。这个学习和前面不同之处，前面主要是只学习一个节点的特征，然后就可以进行分类。这个要结合边以及边的属性等生成一个总的向量进行学习。基于图同构网络（Graph Isomorphism Network, GIN）的图表征网络是当前最经典的图表征学习网络，图同构网络的论文：How Power
2021-07-05 22:57:58
432
2
原创 图神经网络学习task05(超大图上节点表征学习)
一、本阶段的组队学习网站地址：datawhale二、本期主要学习内容：学习在超大图上进行节点表征学习面临着的挑战；接着学习应对挑战的一种解决方案；最后通过实践学习超大图节点预测任务三、超大图上进行节点表征学习面临着的挑战图神经网络已经成功地应用于许多节点或边的预测任务，然而，在超大图上进行图神经网络的训练仍然具有挑战。普通的基于SGD的图神经网络的训练方法，要么面临着随着图神经网络层数增加，计算成本呈指数增长的问题，要么面临着保存整个图的信息和每一层每个节点的表征到内存（显存）而消耗巨大内存（显
2021-07-01 22:38:15
171
原创 图神经网络学习task04(节点表征学习与节点预测和边预测)
一、本阶段的组队学习网站地址：datawhale二、本期主要学习内容：如何构造一个数据全部存于内存的数据集类（见第6-1节)学习基于节点表征学习的图节点预测任务（见第6-2节）学习基于节点表征学习的边预测任务的实践（见第6-2节）三、构造一个数据全部存于内存的数据集类对于占用内存有限的数据集，我们可以将整个数据集的数据都存储到内存里。PyG为我们提供了方便的方式来构造数据完全存于内存的数据集类（简称为InMemory数据集类）。在PyG中，我们通过继承InMemoryDataset类来自定义一
2021-06-27 19:06:35
874
原创 图神经网络学习task03(基于图神经网络的节点表征学习)
一、本次打开学习任务3：基于图神经网络的节点表征学习在图节点预测或边预测任务中，首先需要生成节点表征（Node Representation）。我们使用图神经网络来生成节点表征，并通过基于监督学习的对图神经网络的训练，使得图神经网络学会产生高质量的节点表征。高质量的节点表征能够用于衡量节点的相似性，同时高质量的节点表征也是准确分类节点的前提。本节中，将学习实现多层图神经网络的方法，并以节点分类任务为例，学习训练图神经网络的一般过程。我们将以Cora 数据集为例子进行说明，Cora 是一个论文引用网络，节
2021-06-23 09:03:01
252
原创 图神经网络学习task02(消息传递图神经网络)
一、主要任务：实现图神经网络的消息传递范式学习实现图神经网络的通用范式，即消息传递范式；学习PyG中的消息传递（MessagePassing）基类的属性、方法和运行流程；最后学习如何自定义一个消息传递图神经网络二、信息的传递过程为节点生成节点表征（Node Representation）是图计算任务成功的关键，我们要利用神经网络来学习节点表征。消息传递范式是一种聚合邻接节点信息来更新中心节点信息的范式，它将卷积算子推广到了不规则数据领域，实现了图与神经网络的连接。消息传递范式因为简单、强大的特性，
2021-06-19 20:31:45
415
原创 图神经网络学习task1(图论与程序中图的操作)
一、 本阶段学习任务时间：3天二、 本阶段学习内容：图论与程序中图的操作我们将首先学习简单图论知识、了解常规的图预测任务；然后学习基于PyG包的图数据的表示与使用；三、学习总结本阶段主要内容是需要熟悉图神经网络的基础知识，这些知识基本上在大学计算机专业课程离散数学中有过接触，本人前期也学习过一些图的基本知识，因此这部分内容相对容易。主要图的基础知识包括：图的定义、邻接矩阵、节点的度、邻接节点、路径、连通分量、子图、最短路径、拉普拉斯矩阵图的种类：同质图：只有一种类型的节点和一种类型的边的图
2021-06-16 16:15:19
277
转载 19期推荐系统实践学习(五）
排序模型通过召回的操作， 已经进行了问题规模的缩减， 对于每个用户， 选择出了N篇文章作为了候选集，并基于召回的候选集构建了与用户历史相关的特征，以及用户本身的属性特征，文章本身的属性特征，以及用户与文章之间的特征，下面就是使用机器学习模型来对构造好的特征进行学习，然后对测试集进行预测，得到测试集中的每个候选集用户点击的概率，返回点击概率最大的topk个文章，作为最终的结果。排序阶段选择了三个比较有代表性的排序模型，它们分别是：LGB的排序模型LGB的分类模型深度学习的分类模型DIN得到了最
2020-12-06 19:49:16
571
转载 19期推荐系统实践学习(四）
特征工程特征工程和数据清洗转换是比赛中至关重要的一块， 因为数据和特征决定了机器学习的上限，而算法和模型只是逼近这个上限而已，所以特征工程的好坏往往决定着最后的结果，特征工程可以一步增强数据的表达能力，通过构造新特征，我们可以挖掘出数据的更多信息，使得数据的表达能力进一步放大。在本节内容中，主要是先通过制作特征和标签把预测问题转成了监督学习问题，然后围绕着用户画像和文章画像进行一系列特征的制作， 此外，为了保证正负样本的数据均衡，还学习了负采样等技术等。前面数据分析阶段，已经分析了数据的各种特征，基本
2020-12-03 19:14:53
73
转载 19期推荐系统实践学习(三）
所谓的“多路召回”策略，就是指采用不同的策略、特征或简单模型，分别召回一部分候选集，然后把候选集混合在一起供后续排序模型使用，可以明显的看出，“多路召回策略”是在“计算速度”和“召回率”之间进行权衡的结果。其中，各种简单策略保证候选集的快速召回，从不同角度设计的策略保证召回率接近理想的状态，不至于损伤排序效果。如下图是多路召回的一个示意图，在多路召回中，每个策略之间毫不相关，所以一般可以写并发多线程同时进行，这样可以更加高效。上图只是一个多路召回的例子，也就是说可以使用多种不同的策略来获取用户排序的候选
2020-11-30 20:12:08
77
原创 图神经网络七日打卡营课程学习心得
图神经网络在生物学、地图、金融、搜索、推荐、高能物理学到社会科学和经济学等领域的复杂关系建模和互动系统构建起到重要作用。例如，在社交软件Twitter 和 Facebook 等社交网络上取得了显著的成功。在实际场景中，有大量的数据是在非欧式空间，限制了深度神经网络的应用。得益于图神经网络在非结构化数据上出色的处理能力，它在学界与工业界上大放光彩。然而，图神经网络模型目前仍处于前期高速发展期，面临着多项方法论和实践挑战。图神经网络技术已被应用在百度内数十个实际项目中，大幅度提升公司效益。为了帮...
2020-11-28 22:45:22
216
转载 19期推荐系统实践学习(二）
在进行数据分类、推荐之前，首先需要了解数据的基本情况，进而采用不同的方法对数据进行特征提取，因此需要进行数据分析。数据分析数据分析的价值主要在于熟悉了解整个数据集的基本情况包括每个文件里有哪些数据，具体的文件中的每个字段表示什么实际含义，以及数据集中特征之间的相关性，在推荐场景下主要就是分析用户本身的基本属性，文章基本属性，以及用户和文章交互的一些分布，这些都有利于后面的召回策略的选择，以及特征工程。当特征工程和模型调参已经很难继续上分了，可以回来在重新从新的角度去分析这些数据，或许可以找到上分的灵感
2020-11-27 18:38:56
190
原创 19期推荐系统实践学习
今天参加了datawhale组织的19期推荐系统实践学习，报名成功，今后的两周，每天打卡学习，记录学习推荐系统的成长过程。赛题简介此次比赛是新闻推荐场景下的用户行为预测挑战赛， 该赛题是以新闻APP中的新闻推荐为背景， 目的是要求我们根据用户历史浏览点击新闻文章的数据信息预测用户未来的点击行为， 即用户的最后一次点击的新闻文章， 这道赛题的设计初衷是引导大家了解推荐系统中的一些业务背景， 解决实际问题。报名参加天池大赛，网址如下：零基础入门推荐系统 - 新闻推荐：https://tianchi
2020-11-24 23:10:12
106
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人