weixin_49708196的博客

图神经网络概述

线性因子模型线性因子模型是基于潜变量的一类简单概率模型，线性因子模型通过随机线性解码器函数来定义，通过函数对 hhh 的线性变换以及添加噪声来生成 xxx 。线性因子模型描述了如下的数据生成过程。首先我们从一个分布中抽取解释性因子 hhh ，h∼p(h)h \sim p(h)h∼p(h) ，其中 p(h)p(h)p(h) 是一个因子分布，满足 p(h)=∏ip(hi)p(h)=\prod_{i}p(h_i)p(h)=∏i​p(hi​) ，易于从中采样。接下来，再给定因子的情况下，我们对实值的可观察变量进

自编码器1.欠完备自编码器从自编码器获得有用特征的一种方法是限制 hhh 的维度比 xxx 小，这种编码维度小于输入维度的自编码器称为欠完备自编码器(undercomplete autoencoder) 。学习欠完备的表示将强制自编码器捕捉训练数据中最显著的特征。学习过程可以简单的描述为最小化一个损失函数 L(x,g(f(x)))L(x,g(f(x)))L(x,g(f(x))) ，其中 LLL 是一个损失函数，如均方误差。当解码器是线性的并且 LLL 是均方误差，欠完备自编码器会学习出与 PCA 相

常见循环神经网络概括循环神经网络（recurrent neural network）是一类专门用于处理序列数据的神经网络，就像卷积神经网络是专门处理网格化数据（如图像）的神经网络，卷积神经网络是专门用于处理序列 x(1),⋯ ,x(τ)x^{(1)}, \cdots, x^{(\tau)}x(1),⋯,x(τ) 的神经网络。本文主要介绍花书中提到的几种循环神经网络。循环神经网络中的一些重要设计模式包括以下几种：每个时间步都有输出，并且隐藏单元之间有循环连接的循环网络，如图每个时间步都产生一

ActionSpotter: Deep Reinforcement Learning Framework for Temporal Action Spotting in Videos论文阅读笔记1.abstractaction spot 最近被提出用来代替动作检测和关键帧检测的任务，目前最有效的 action spot 方法需要昂贵的 ground truth，由人类注释的搜索序列组成——这是一个关键限制。在本文中，我们提出了一种使用强化学习算法去做 action spot 任务的算法，而且仅使用动作

L1／L2 正则化与高斯先验／对数先验的 MAP 贝叶斯推断的关系1. MAP 贝叶斯推断贝叶斯推断和极大似然的用处一样，都是求生成训练数据的参数 θ\thetaθ ，但是极大似然估计是基于频率派的思想，而贝叶斯推断是基于贝叶斯派的思想。MAP（Maximum A Posteriori, MAP）最大后验估计点估计。θMAP=argmaxθp(θ∣x)=argmaxθlog⁡p(x∣θ)+log⁡p(θ)\theta_{MAP} = \underset{\theta}{argmax} p(\thet

BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding作者：Google1.Introduction​ 预训练方法适用于 NLP 任务，包括词嵌入、GPT等方法。NLP 包括两类：第一类叫做句子层面的任务，识别句子的情绪或者连两个句子之间的关系；第二类是词语层面上的任务，识别各个词，对细粒度要求较高。​ 存在两种预训练的策略，第一种是基于特征的，代表作是 ELMo，对每一下游的任务，构造相关的神

Fully Convolutional Networks for Semantic Segmentation 论文阅读论文：Fully Convolutional Networks for Semantic Segmentation(2015 CVPR)作者：Jonathan Long Evan Shelhamer Trevor Darrell -UC Berkeley图像分割领域的开山之作1.1 研究成果将分类网络改变为全卷积神经网络，具体包括全连接层转换为卷积层以及通过反卷积进行