Running Snail

文章目录1. Motivation2. 模型2.1 Embedding Layer 嵌入层2.2 Embedding Propagation Layers2.2.1 First-order Propagation2.2.2 High-order Propagation2.2.3 矩阵形式的传播2.3 模型预测1. Motivation在过去的基于矩阵分解或者深度学习的方法，通常是利用user和item的embedding进行协同召回，存在的缺点：没有考虑user和item之间的collaborativ

卷积神经网络 – CNN 最擅长的就是图片的处理。它受到人类视觉神经系统的启发。CNN 有2大特点：能够有效的将大数据量的图片降维成小数据量能够有效的保留图片特征，符合图片处理的原则目前 CNN 已经得到了广泛的应用，比如：人脸识别、自动驾驶、美图秀秀、安防等很多领域。发展历程Yann Lecun等人在1983年提出基于梯度学习的卷积神经网络算法，并将其成功用于手写数字字符识别，在那时的技术条件下就能取得低于于1%的错误率。因此， LeNet这一卷积神经网络便在当时效力于全美几乎所有的邮政

文章目录ResNet模型两个注意点关于x关于残差单元核心实验原因分析ResNet的效果题外话ResNet是由何凯明在论文Deep Residual Learning for Image Recognition里提出的论文链接：https://ieeexplore.ieee.org/stamp/stamp.jsp?tp=&arnumber=7780459ResNet模型如上图，网络深度增加时，56层的网络比20层网络效果还要差。这不会是过拟合问题，因为56层网络的训练误差同样高（具体分析见

文章目录状态更新与输出为什么会一定收敛输出fff和ggg的参数学习之前写过一篇GNN的综述https://blog.csdn.net/weixin_45884316/article/details/115751272，但是感觉对于原理部分理解得不透彻，所以把原理单独拿出来，详细地过了一遍。状态更新与输出​ 给定一张图GGG，每个结点都有其自己的特征(feature)，用xvx_vxv​表示结点v自身的特征，连接两个结点的边也有自己的特征，用xv,ux_{v,u}xv,u​表示。GNN的学习目标是获

文章目录1. 神经网络与深度学习1.1 NLP的难点及在深度学习下的解决2. NLP中的深度学习2.1 核心2.2 神经网络模型的基本结构①输入层（嵌入层）②隐藏层③ 输出层NLP中的神经网络模型基本流程2.3 对于三层结构需要学习什么？1. 神经网络与深度学习与传统机器学习相比，深度学习不仅学习预测，同时还学习正确地表示数据，使其更有助于预测。1.1 NLP的难点及在深度学习下的解决离散性语言是离散化的，同时和含义是不相关的解决：表示学习组合性为了理解文本的意思，我们需要超

从数据结构到算法：图网络方法初探论文《Graph Neural Networks: A Review of Methods and Applications》木牛马论文阅读笔记https://www.cnblogs.com/ydcode/p/11050417.htmlhttps://zhuanlan.zhihu.com/p/102994627?utm_source=wechat_session文章目录图神经网络（Graph Neural Networks，GNN）1. GNN起源1.1 动..

文章目录1. 主要脉络梳理2. 图傅里叶变换2.1 拉普拉斯矩阵特征分解2.2 傅里叶基和傅里叶系数3. 图卷积4. 卷积神经网络(CNN)的特性5. 从卷积神经网络到图卷积神经网络5.1 谱域卷积神经网络：Spectral CNN5.2 切比雪夫网络：ChebyNet5.3 图卷积神经网络：GCN1. 主要脉络梳理本文先从图傅里叶变换说起，图傅里叶变换相对简单，不太需要太多的背景知识，其核心内容是基于拉普拉斯矩阵的正交对角化分解，以及两个定义好的变换公式。傅里叶变换与卷积定理经常一起出现的，在卷

The coefficients of a filter determine the information it can capture滤波器的系数决定了所捕获的信息Frequency in graphU1U_1U1​相比于U0U_0U0​，已经出现了两个Community ，如果到了U50U_{50}U50​，蓝色和黑色信号是混叠在一起的Frequency in GNNsMost existing GNNs usually exploit low-frequency signals从上图

前馈运算假设现在网络的参数收敛到ω1,…,ωL−1\omega^{1}, \ldots, \omega^{L-1}ω1,…,ωL−1，进行feed- forward，将输入x1x_1x1​送入网络，之后经过第一层操作ω1\omega^1ω1得到x2x_2x2​，依次类推……直到得到输出xLx_LxL​，反馈运算深度学习模型通常采用随机梯度下降法（SGD）和误差反向传播（error back propogation）进行模型参数更新。每层操作主要对应两部分：​ 1.用于参数更新的 ∂z∂ωi\fra

GCN ( Graph Convolutional Networks )，图卷积网络Hl+1=σ(D~−12A~D~−12Hlwl)(1)H^{l+1}=\sigma\left(\widetilde{D}^{-\frac{1}{2}} \tilde{A} \widetilde{D}^{-\frac{1}{2}} H^{l} w^{l}\right) \tag{1}Hl+1=σ(D−21​A~D−21​Hlwl)(1)HlH^lHl是第lll层的输入特征，Hl+1H^{l+1}Hl+1是输出特征w