- 博客(4)
- 收藏
- 关注
RSS订阅原创 [PaperReading]*PSGraph: How Tencent trains extremely large-scale graphs with Spark?
摘要腾讯TEG在大数据机器学习以及数据挖掘方面，基于Spark，结合参数服务器PS开发了新平台Angel，在图计算方面对比Spark GraphX形成了新的训练模式，结合PS对参数的更新迭代，分布式环境下的数据通信做了新的设计。GraphX在分布式数据通信时，使用join操作导致多个worker之间的数据shuffle，使得模型更新变慢，而且临时数据导致空间利用率下降。而PSGraph使用PS可以有效降低这方面的时空消耗。模型介绍论文把图上的问题分为3类：传统的图算法：PageRank，KCore
2020-08-09 19:23:33
550
1
原创 [PaperReading]*Bi-Directional Attention Flow For Machine Comprehension
概述attention一直在做的，是将原本的数据信息，有重点有方向地进行总结。这篇文章注意到一个问题，那就是在attention机制上，之前的工作总是在得出attention权重后对于原数据进行总结summary，这使得得到了attention结果的同时，丢失了部分原数据的信息，并且还可能破坏训练得到的attention的意义（个人觉得做乘法取概率不一定是attention的最终归宿）。本文就以...
2019-11-28 10:27:24
189
原创 [PaperReading]*Computing communities in large networks using random walks
概述文章通过对知识图谱结构的数学分析，结合相关工作，提出了一种针对大型图的community聚类算法。提出了图上两个community之间的距离定义，并根据定义提出了一种基于Random Walks的快速算法，提高了运算效率。思路分析对于community的定义是困难的，在不同的文章中有很多不同的定义，这样的模式是不利于对community分析总结工作的成果共享的。文中指出，大部分人对com...
2019-09-25 19:26:44
507
转载 欢迎使用CSDN-markdown编辑器
欢迎使用Markdown编辑器写博客本Markdown编辑器使用StackEdit修改而来，用它写博客，将会带来全新的体验哦：Markdown和扩展Markdown简洁的语法代码块高亮图片链接和图片上传LaTex数学公式UML序列图和流程图离线写博客导入导出Markdown文件丰富的快捷键快捷键加粗 Ctrl + B 斜体 Ctrl + I 引用 Ctrl
2017-06-25 21:17:48
301
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人