- 博客(1336)
- 资源 (9)
- 收藏
- 关注
RSS订阅转载 利用GCN进行节点分类
图是信息的最佳表示方式。在一个图中，有通过边（谓之“关系”）连接起来的节点（谓之“实体”）。想一想，你的Facebook社交网络是个什么样子的：以你为中心连接上你的朋友们，他们又以不同的方式相互联系。在表格中表示这些信息的方式是有些随意（或者不好的），社交关系并不是像一排排规矩的摆在桌子上的东西，而是像下图这样的：Facebook 社交网络；金色的边你的社交关系；灰色的边是你的朋友之间的关...
2019-11-20 11:31:58
7864
5
转载 tensorflow2.0的一些高级函数用法
最近在学习tensorflow2.0的时候看到一些特别好用的高级函数，这里来记录一下它们的用法1.tf.gather()tf.gather(params,indices,validate_indices=None,name=None,axis=0)简单的理解一下，首先传入一个需要处理的张量，然后传入对他的选择操作，也就是一个索引张量。下面举个例子：考虑班级成绩册的例子，共有 4 个班...
2019-11-19 11:29:43
593
转载 #####好好好#####论文分享 | Learning Aligned-Spatial GCNs for Graph Classification
目前大部分GCN方法可以被归为两类：Spectral（基于频域）卷积和 Spatial（基于空域）卷积。前者主要基于 Spectral Graph Theory 将图信号变换到谱域与滤波器系数进行相乘再做逆变换[1][2]，这种方法处理的图结构常常是固定大小的（节点个数固定）并且主要解决的是节点分类问题。然而现实中图数据的大小往往不固定，例如生物信息数据中的蛋白质结构、社交网络中的用户关系等，基于...
2019-11-14 19:14:52
283
转载 ########全面回顾Graph深度学习，一文看尽GNN、GCN、GAE、GRNN、GRL
昨天，阿里巴巴达摩院发布2019十大技术趋势，其中就包括“超大规模图神经网络系统将赋予机器常识”：单纯的深度学习已经成熟，而结合了深度学习的图神经网络将端到端学习与归纳推理相结合，有望解决深度学习无法处理的关系推理、可解释性等一系列问题。强大的图神经网络将会类似于由神经元等节点所形成网络的人的大脑，机器有望成为具备常识，具有理解、认知能力的AI。此前，新智元曾经报道过清华大学孙茂松教授组对...
2019-11-13 08:48:53
7305
转载 从CNN到GCN的联系与区别——GCN从入门到精（fang）通（qi）
1 什么是离散卷积？CNN中卷积发挥什么作用？了解GCN之前必须对离散卷积（或者说CNN中的卷积）有一个明确的认识：如何通俗易懂地解释卷积？这个链接的内容已经讲得很清楚了，离散卷积本质就是一种加权求和。如图1所示，CNN中的卷积本质上就是利用一个共享参数的过滤器（kernel），通过计算中心像素点以及相邻像素点的加权和来构成feature map实现空间特征的提取，当然加权系数就是卷积...
2019-11-12 08:43:27
644
转载 绝对干货！NLP预训练模型：从transformer到albert
背景语言模型是机器理解人类语言的途径，17年的transformer是语言模型摆脱rnn，lstm建模的一次尝试，后续的bert则是大力出奇迹的代表，用更大的模型和更多的数据将nlp任务的benchmark提高了一大截。gpt在auto-regressive的路上一路走到黑，而xlnet将gpt和bert的优点结合在了一起，然后用更更大的数据吊打了bert。没过多久，bert的增强版rober...
2019-11-10 11:25:06
2310
转载 3亿会员、4亿商品，深度学习在大型电商商品推荐的应用实践！
常见算法套路电商品推荐中的常见算法大致如下：基于商品相似度比如食物 A 和食物 B，根据它们的价格、味道、保质期、品牌等维度，可以计算它们的相似程度，可以想象，我买了包子，很有可能顺路带一盒水饺回家。优点：冷启动，只要你有商品的数据，在业务初期用户数据不多的情况下，也可以做推荐。缺点：预处理复杂，任何一件商品，维度可以说至少可以上百，如何选取合适的维度进行计算，涉及到工程经...
2019-11-05 14:53:59
516
转载 金融行业消息队列选型及实践
文章深度解读了某商业银行做消息队列选型时考虑的因素，包括关键需求、选型要点、选型原则等，同时给出了选型建议、产品对比以及典型场景和二次封装的建议。本文作者在自己丰富实践经验基础上抽象出一些方法论，供读者在做消息队列技术选型时参考。本文主要内容包括以下方面：1 概述2 为什么引入消息队列 何为消息队列 消息队列的优势 消息队列的不足 3 消息队...
2019-11-05 14:48:09
1028
转载 JanusGraph：图数据库系统简介
图(graph)是《数据结构》课中第一次接触到的一个概念，它是一种用来描述现实世界中个体和个体之间网络关系的数据结构。为了在计算机中存储图，《数据结构》中初步介绍了图的逻辑结构和存储结构。本文对图的定义、图的作用、图的逻辑结构、图的存储结构进行了回顾，继而引出了图数据库、主流的图数据库产品，最后重点介绍了JanusGraph图数据库的基本知识。本文提纲：1、图的简介2、图数据...
2019-11-04 09:34:35
565
转载 ####好好好####金融知识图谱技术与银行业应用研究
我们身处万物互联、数据爆炸与人工智能技术蓬勃发展的时代，随着人们对掌握事物全貌和关联性分析需求的日渐增长，AI技术对于“让机器形成认知能力”的不懈追求和知识工程相关技术的日趋完善，作为AI技术之一的知识图谱在学术界与工业界掀起了一股研究与应用的热潮。知识图谱是一个基于图模型实现多源异构和互联数据建模与应用的整体解决方案。遵循“things,not strings”万物互联的理念，通过...
2019-11-03 16:37:11
901
转载 #####好好好#######图解JanusGraph内部数据存储结构
前面的几篇文章中已经介绍了不少图数据库的基础知识：从扩线查询能力分析图数据库Titan的设计改进点一起学图数据库系列：图数据库概述一起学图数据库系列：图数据库与传统数据库的对比分析开源图数据库Titan项目已经停止更新，JanusGraph可以说复活了Titan项目，到目前为止，JanusGraph与Titan在核心机制上相差不大。JanusGraph/Titan有如下...
2019-11-03 16:35:38
822
1
转载 【Graph Embedding】DeepWalk算法原理，实现和应用
本文首先从整体介绍一下图表示学习，然后分别从原理，核心代码，应用三个部分介绍 DeepWalk 。图表示学习我们都知道在数据结构中，图是一种基础且常用的结构。现实世界中许多场景可以抽象为一种图结构，如社交网络，交通网络，电商网站中用户与物品的关系等。目前提到图算法一般指：1. 经典数据结构与算法层面的：最小生成树 (Prim,Kruskal,...) ，最短路 (Dijkstr...
2019-11-01 16:55:56
2634
转载 入门学习 | 什么是图卷积网络？行为识别领域新星
导读】图卷积网络（Graph Convolutional Network，GCN）是近年来逐渐流行的一种神经网络结构。不同于只能用于网格结构（grid-based）数据的传统网络模型 LSTM 和 CNN，图卷积网络能够处理具有广义拓扑图结构的数据，并深入发掘其特征和规律，例如 PageRank 引用网络、社交网络、通信网络、蛋白质分子结构等一系列具有空间拓扑图结构的不规则数据。相比于一般的拓扑图...
2019-11-01 14:30:17
633
转载 PRML读书会第八章 Graphical Models
今天的内容主要是：1.贝叶斯网络和马尔科夫随机场的概念，联合概率分解，条件独立表示；2.图的概率推断inference。图模型是用图的方式表示概率推理，将概率模型可视化，方便展示变量之间的关系，概率图分为有向图和无向图。有向图主要是贝叶斯网络，无向图主要是马尔科夫随机场。对两类图，prml都讲了如何将联合概率分解为条件概率，以及如何表示和判断条件依赖。先说贝叶斯网络，贝叶斯网络是有向图...
2019-10-28 20:03:36
225
转载 ####好好好好#####关于贝叶斯,从贝叶斯方法谈到贝叶斯网络
在生信分析中经常会和贝叶斯打交道，比如贝叶斯分类器、贝叶斯网络、贝叶斯构建进化树等等。但是如果不清楚贝叶斯的原理，其实是很难对整个算法有深入了解的。这里小编整理了网络上的关于贝叶斯的最好的讲解，希望大家把它收藏起来，慢慢的啃。前言 事实上，介绍贝叶斯定理、贝叶斯方法、贝叶斯推断的资料、书籍不少，比如《数理统计学简史》，以及《统计决策论及贝叶斯分析 James ...
2019-10-24 15:47:30
375
转载 贝叶斯网络基础知识
贝叶斯网络把某个研究系统中涉及的随机变量，根据是否条件独立绘制在一个有向图中，就形成了贝叶斯网络。贝叶斯网络(Bayesian Network)，又称有向无环图模型(directed acyclic graphical model ,DAG)，是一种概率图模型，根据概率图的拓扑结构，考察一组随机变量{X 1 ,X 2 ...X n }及其n组条件概率分布(Conditional Pr...
2019-10-20 22:03:49
2209
转载 [论文笔记]Cluster-GCN: An Efficient Algorithm for Training Deep and Large Graph Convolutional Networks
文章目录 Abstract 1. Introduction Previous GCN Training Algorithms 2. Background 图卷积网络（GCNs） 3. Proposed Algorithm...
2019-10-15 18:54:02
2244
1
转载 信用评分卡模型-数据缺失值处理
image.png一、认识缺失值在我们的数据分析过程中，经常会碰到缺失值的情况。缺失值产生的原因很多，比如人工输入失误，系统出错，或者是正常情况，比如未婚状态下的子女个数肯定是0或者直接不填，这种情况就是正常的。所以我们处理缺失值的步骤一般是：1) 识别缺失值2) 检查导致缺失值的原因3) 删除包含缺失值的行或列或者用合理的数值填补缺失值或者不处理R使用 NA （不可...
2019-10-14 00:09:29
2463
转载 ######贝叶斯网络
一、贝叶斯网络，由一个有向无环图(DAG)和条件概率表(CPT)组成。贝叶斯网络通过一个有向无环图来表示一组随机变量跟它们的条件依赖关系。它通过条件概率分布来参数化。每一个结点都通过P(node|Pa(node))来参数化，Pa(node)表示网络中的父节点。一个简单的贝叶斯网络，其对应的全概率公式为：P(a,b,c)=P(c∣a,b)P(b∣a)P(a)...
2019-10-10 08:35:16
562
转载 #####好好好好######Hadoop大数据平台实战(05)：深入Spark Cluster集群模式YARN vs Mesos vs Standalone vs K8s
Spark可以以分布式集群架构模式运行，如果我们不熟Spark Cluster，这个时候需要集群管理器帮助我们管理Spark 集群。 集群管理器根据需要为所有工作节点提供资源，操作所有节点。负责管理和协调集群节点的程序一般叫做：Cluster Manager，集群管理器。目前搭建Spark 集群，可以的选择包括Standalone，YARN，Mesos，K8s，这么多工具，在部署Spark集群时...
2019-10-09 00:40:42
228
转载 ######kubernetes中部署spark集群
在写这个的时候，spark版本为2.2.1。基于kubernetes部署的两种方式直接使用kubernetes作为集群管理器(Cluster Manager)，类似与mesos和yarn，使用方式可以看running-on-kubernetes。但是这个部署方式，一是还不成熟，不推荐在生产环境使用。第二是要求k8s版本大于1.6，但我这边版本1.5.1，线上在用，不太想升级，而spark只...
2019-10-09 00:30:34
367
转载 ###论文解读##DeepInf:Social Influence Prediction with Deep Learning
结合深度学习预测每个用户的社交影响。论文地址:https://arxiv.org/abs/1807.05560ABSTRACT脸书、推特、微信和微博等社交信息网络活动成为日常生活的重要组成部分，我们可以接触朋友的行为，同样的被他们影响。因此，对每一个用户的社交影响的有效预测对于如在线推荐和广告等各种应用至关重要。传统的社交影响预测方法通常设计各种手工规则来提取用户和网络的特征。...
2019-09-26 10:53:00
1326
转载 #######图分类综述####结合胶囊网络Capsule和图卷积GCN的文章
权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。本文链接：https://blog.csdn.net/weixin_39373480/article/details/89402879结合胶囊网络Capsule和图卷积GCN的文章 一、Capsule Neural Networks for Graph Classification...
2019-09-26 01:15:31
652
1
转载 ######haohaohaohao################图分类：结合胶囊网络Capsule和图卷积GCN（附代码）
【导读】图分类（预测图的标签）是图结构数据里一类重要的问题。它的应用广泛，可见于生物信息学、化学信息学、社交网络分析、城市计算以及网络安全。随着近来学界对于图神经网络的热情持续高涨，出现了一批用图卷积网络(Graph Convolutional Network， GCN)做图分类的工作。本文结合最近热点胶囊网（Capsule Networks）与GCN网络用于图分类。胶囊网络是一种新兴的深层神...
2019-09-26 01:05:59
686
转载 图神经网络最新论文总结（附源码）
图神经网络（GNN）是深度学习领域最新的研究成果，在生物信息学、化学信息学、社会网络、自然语言处理和计算机视觉等多学科领域有着广泛的应用。这一块的研究也吸引了像腾讯这样的巨头参与。图神经网络是一种有效的图表示学习框架。 GNN 遵循一个邻域聚合方案，其中一个节点的表示向量是通过递归聚合和转换相邻节点的表示向量来计算的。 图分类问题在许多不同的领域也都有实际的应用。 本文总结了近一年来图神经网络...
2019-09-19 18:36:29
5584
转载 #####好好好好######Neo4j 第三篇：Cypher查询入门
Neo4j 第三篇：Cypher查询入门Neo4j使用Cypher查询图形数据，Cypher是描述性的图形查询语言，语法简单，功能强大，由于Neo4j在图形数据库家族中处于绝对领先的地位，拥有众多的用户基数，使得Cypher成为图形查询语言的事实上的标准。本文作为入门级的教程，我不会试图分析Cypher语言的全部内容，本文的目标是循序渐进地使用Cypher语言执行简单的CRUD操作，为了便于演...
2019-09-18 17:27:53
356
转载 实体链接——《Entity Linking with a Knowledge Base Issues Techniques and Solutions》浅析
实体链接综述 候选实体生成（Candidate Entity Generation） 基于命名字典的技术 实体页面 重定向页面 消歧页面 首段加粗字段 Wikipedia文章中的超链接 从本地文档扩展表面的形式 启...
2019-09-04 15:56:28
963
转载 属性图数据库JanusGraph初探
图数据库所提供的关联分析能力是金融反欺诈、威胁情报、黑产打击和案件溯源等业务所需要的核心能力。图数据库的需求非常多，例如金融安全业务希望使用图数据库进行金融反欺诈关联分析、威胁情报业务希望通过图数据库进行黑产研究和情报分析、还有社交关系分析、知识图谱等需求场景。文章目录图数据库应用背景 Tinkerpop 简介 Tinkerpop结构 Tinkerpop处理机制 ...
2019-09-02 15:15:05
2162
转载 标签传播算法（Label Propagation）及Python实现
标签传播算法（Label Propagation）及Python实现 众所周知，机器学习可以大体分为三大类：监督学习、非监督学习和半监督学习。监督学习可以认为是我们有非常多的labeled标注数据来train一个模型，期待这个模型能学习到数据的分布，以期对未来没有见到的样本做预测。那这个性能的源头--训练数据，就显得非常感觉。你必须有足够的训练数据，以覆盖真正现实数据中的样本分布才可以，这...
2019-09-02 11:35:44
2871
转载 ###好好好好###HMM、CRF、MEMM区别
隐马尔可夫模型（Hidden Markov Model，HMM），最大熵马尔可夫模型（Maximum Entropy Markov Model，MEMM）以及条件随机场（Conditional Random Field，CRF）是序列标注中最常用也是最基本的三个模型。HMM首先出现，MEMM其次，CRF最后。三个算法主要思想如下：1）HMM模型是对转移概率和表现概率直接建模，统计共现概率，...
2019-08-29 11:09:29
666
转载 ####好好好好####本体和知识图谱学习
本体论（ontology）定义维基：本体实际上就是对特定领域之中某套概念及其相互之间关系的形式化表达（formal representation）。本体就是对那些可能相对于某一智能体（agent）或智能体群体而存在的概念和关系的一种描述。 ——汤姆·格鲁伯——《迈向知识共享型本体的设计原则》我的理解：本体首先是哲学上提出来的，简单来说就是一种概念，如人这个概念集合，它是一种抽象集合用...
2019-08-29 10:01:24
273
1
转载 “核字”、“核数”、“核逻辑” ——NLP助力智能金融文档核查
随着科创板的挂牌成立，国内金融市场规模进一步扩大，更多异构的文档数据类型产生出来，其中不乏非结构化文本数据。招股说明书、项目审计报告、年度报告、半年度报告、季度等报告不断出现，而究其报告材料与企业自身的紧密性和敏感性，报告的质量保证和管理工作不可缺少。其中，作为对企业各项指标状态的记录和监控，无论对于企业本身，还是对于投资者而言，报告的质量显得尤为重要。事实上，金融文档的整个生产环节都存...
2019-08-27 16:08:07
1005
转载 一. 知识图谱和金融领域简述
知识图谱在风控的应用一. 知识图谱和金融领域简述什么是知识图谱？借鉴其中一个理解：知识图谱主要的目标是用来描述真实世界中间存在的各种实体和概念，以及它们之间的关联关系。具体理论知识就不在此赘述，对于这个抽象的概念会有一篇文章来列举一个代表性的例子。知识图谱起源于语义网络，最初由Google提出用与优化搜索结果，发展至今已经应用于各个垂直化领域。从商业概念上，知识图...
2019-08-26 21:41:01
1281
转载 领域应用 | 知识图谱的技术与应用
导读：从一开始的Google搜索，到现在的聊天机器人、大数据风控、证券投资、智能医疗、自适应教育、推荐系统，无一不跟知识图谱相关。它在技术领域的热度也在逐年上升。 本文以通俗易懂的方式来讲解知识图谱相关的知识、尤其对从零开始搭建知识图谱过程当中需要经历的步骤以及每个阶段需要考虑的问题都给予了比较详细的解释。 对于读者，我们不要求有任何AI相关的背景知识。目录： 概论 ...
2019-08-26 21:29:46
2296
转载 ######好好好####### Linkis到底能不能替换掉Spark JobServer
公司的业务部门一直在使用Spark进行数据分析，随着跑Spark作业的需求日渐增长，之前一直在使用的Spark JobServer被吐槽的频率也越来越高，经常被评价功能过于简单和缺乏灵活性，跑一次任务的过程太过繁琐，一些个性化的需求定制也无法进行扩展实现。更痛苦的是，有时候快接近下班的时间，大家都准备跑出一个结果就闪人，这就导致了队列资源的使用率暴涨，甚至有的吃资源大户一个人霸占了整个队列的资...
2019-08-26 11:44:25
402
转载 比 matplotlib 效率高十倍的数据可视化神器
心理学上有一个名词叫“沉没成本谬误”，它指如果我们已经在一项事业上花费了很多时间，那么即使明知是失败的，我们仍然会倾向于继续把时间和资源花在上面。在数据可视化的路上，我也曾犯过这样的错误。当我明知存在更高效、更具交互性和外观更好的替代方案时，我却仍然继续使用一个过时的绘图库——matplotlib，只是因为我曾经花了数百个小时来学习 matplotlib 复杂的语法。幸运的是，现在...
2019-08-26 10:12:46
348
转载 TensorFlow Keras 官方教程
教程地址：https://tensorflow.google.cn/guide/kerasKeras 简介Keras是一个用于构建和训练深度学习模型的高级API。 它用于快速原型设计，高级研究和生产，具有三个主要优点：用户友好 Keras具有针对常见用例优化的简单，一致的界面。 它为用户错误提供清晰且可操作的反馈。 模块化和可组合 Keras模型是通过将可配置的构建块连接在一起而...
2019-08-26 09:55:32
404
转载 推荐系统和搜索引擎的关系
相辅相承，又各有所用。从信息获取的角度来看，搜索和推荐是用户获取信息的两种主要手段。无论在互联网上，还是在线下的场景里，搜索和推荐这两种方式都大量并存，那么推荐系统和搜索引擎这两个系统到底有什么关系？区别和相似的地方有哪些？我们请“达观数据”创始人兼CEO陈运文博士对两者的关系进行了阐述，分析了异同。主动或被动：搜索引擎和推荐系统的选择 ...
2019-08-13 19:19:29
1286
转载 ValueError: Tensor("", dtype=float32) is not an element of this graph解决办法Graph设为内部成员并且调用时不设置默认GRAPH
参考：1. https://github.com/keras-team/keras/issues/2397今天在把Mask RCNN改成ROS Server来使用的时候，遇到了这个错误，我是根据这个ROS Subscriber版的Mask RCNN的基础上来改的，原代码运行很正常，但是我在改成ROS Node之后出现了这个错误，看了一晚上才意识到，正如参考[1]里有人提到的： I ...
2019-08-13 16:38:18
474
Harris角点提取算法在H型目标追踪上的研究
2015-07-23
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人