- 博客(8)
- 收藏
- 关注
RSS订阅原创 深度学习-Graph Transformer Networks相关
Graph Transformer NetworksHeterogeneous Graph（异质图）meta-path（元路径）针对元路径的attentionHeterogeneous Graph Transformer：Heterogeneous Graph（异质图）图中每个节点有不同的类型，由这些节点之间关系定义的连边也有不同类型，如下例子：区分：同质图：图中所有节点的类型都相同，边类型只有一种的标准图meta-path（元路径）沿着节点的多跳路径，例如PVP,PFP,IAPPVP, PF
2021-05-09 19:55:10
824
原创 算法笔记-数学问题
数学问题数字黑洞6174补充最大公约数/最小公倍数最大公约数最小公倍数分数的四则运算分数化简分数输出数字黑洞6174#include <cstdio>#include <algorithm>using namespace std;bool cmp(int a, int b){ return a>b;}void to_array(int n, int num[])//此时的存入顺序不重要，因为后面都是要重新排序的{ for(int i=0;i&l
2021-05-09 17:01:03
155
原创 数学基础修炼手册-数学分析-凸优化
优化相关-凸优化拉格朗日对偶性拉格朗日乘子法和KKT条件参考拉格朗日对偶性拉格朗日乘子法和KKT条件参考拉格朗日对偶性拉格朗日乘子法和KKT条件机器学习原理-拉格朗日乘子法和KKT条件...
2021-05-06 09:17:23
498
原创 深度学习-Transformer/Attention
Transformer/AttentionSelf-Attention理解图示如何获得Q, K, V并计算?Multi-Headed AttentionMaskSelf-Attention理解以如下句子作为输入：I like Natural Language Processing , a lot !根据 'Attention is all you need’这篇文章，encoder需通过Scaled Dot-Product Attention mechanism（通过 query 和 key 的
2021-05-04 22:32:08
244
原创 算法笔记-快速排序衍生
ch4two pointers快速排序随机选择算法two pointers快速排序问题：将一个无序数组排序，要求时间复杂度优于O(n2)O(n^2)O(n2)思路：先定位主元位置，主元左侧元素全部小于主元，右侧元素全部大于主元//实质上是递归，只不过要先找到主元，根据它把数组分成两部分int Partition(int A[], int left, int right){ int temp=A[left]; while(left<right)//left,right两步走 { w
2021-05-03 22:06:08
82
转载 数学基础修炼手册-概率论-贝叶斯
贝叶斯简介训练特性朴素贝叶斯朴素贝叶斯模型补充**最大似然估计**朴素贝叶斯的推断过程朴素贝叶斯的参数估计朴素贝叶斯算法流程朴素贝叶斯算法小结参考简介一个贝叶斯网络是一个有向无环图(Directed Acyclic Graph,DAG)，由代表变量节点及连接这些节点有向边构成。节点代表随机变量，节点间的有向边代表了节点间的互相关系(由父节点指向其子节点)，用条件概率进行表达关系强度，没有父节点的用先验概率进行信息表达。节点变量可以是任何问题的抽象，如：测试值，观测现象，意见征询等。适用于表达和分析不确定
2021-05-03 11:45:18
260
转载 数学基础修炼手册-简介
数学基础修炼手册一、数学分析优化相关信息论二、 概率论和统计概率论数理统计三、线性代数参考我们知道，机器学习的特点就是：以计算机为工具和平台，以数据为研究对象，以学习方法为中心；是概率论、线性代数、数值计算、信息论、最优化理论和计算机科学等多个领域的交叉学科。下面是各个数学领域的知识点列表，后边几章会分别回顾这几个方面的知识要点。一、数学分析优化相关目标函数全局最小值局部极小值无约束优化约束优化拉格朗日函数KKT条件与对偶函数梯度下降法一阶导数
2021-05-03 10:07:42
113
原创 深度学习-GAN背景知识
汇报GAN定义loss三级目录GAN定义lossGANs可以看成一个博弈，博弈双方都会有cost，如果是零和博弈，那么双方的cost之和为0。Discriminator是一个二元分类器，它的loss可以定义用交叉熵来定义： J(D)(θ(D),θ(G))=−12Ex∼PdatalogD(x)−12Ex∼PGlog(1−D(G(z)))J^{(D)}(\theta^{(D)},\theta^{(G)})=-\frac {1}{2}E_{x \sim P_{data}}logD(x)-\frac {1}{
2021-05-02 22:08:11
392
2
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人