BigLittleKing的博客

原创 语义分割综述

摘要图像分割是图像处理和计算机视觉领域的一个重要课题，在场景理解、医学图像分析、机器人感知、视频监控、增强现实、图像压缩等领域有着广泛的应用。近年来，由于深度学习模型在视觉应用中的成功，已有大量的工作致力于利用深度学习模型开发图像分割方法。本文全面回顾了撰写本文时的文献，涵盖了语义和实例级分割的大量开创性工作，包括完全卷积像素标记网络、编码器-解码器架构、多尺度和基于金字塔的方法、递归网络，视觉attention模型，以及生成对抗模型。论文研究了这些深度学习模型的相似性、优势和挑战，研究了最广泛使用的数

原创 条件随机场CRF

1 条件随机场CRF：从条件随机场到线性链条件随机场条件随机场(Conditional Random Fields, 以下简称CRF)是给定一组输入序列条件下另一组输出序列的条件概率分布模型，在自然语言处理中得到了广泛应用。1.1什么样的问题需要CRF模型这里举一个简单的例子：假设有Bob一天从早到晚的一系列照片，Bob想考考我们，要我们猜这一系列的每张照片对应的活动，比如: 工作的照片，吃饭的照片，唱歌的照片等等。一个比较直观的办法就是，我们找到Bob之前的日常生活的一系列照片，然后找Bob.

原创 BERT知识点梳理

1 模型结构1.token embedding :为什么attention is all you need中要乘上aqrt(hidden)？因为位置编码使用sin/cos，值域比xavier初始化的tokenembedding大很多[-0.13,0.13]，所以要增强。但是BERT改变了position embedding的方式，就没有必要了2.Scaled Dot Product:为什么是缩放点积，而不是点积模型？相较于加性模型，点积模型具备哪些优点？当输入信息的维度 d 比较高，

原创 Transformer结构及其应用详解--GPT、BERT、MT-DNN、GPT-2

本文首先详细介绍Transformer的基本结构，然后再通过GPT、BERT、MT-DNN以及GPT-2等基于Transformer的知名应用工作的介绍并附上GitHub链接，看看Transformer是如何在各个著名的模型中大显神威的。一、取代RNN——Transformer在介绍Transformer前我们来回顾一下RNN的结构对RNN有一定了解的话，一定会知道，RNN有两个很明显的问题效率问题：需要逐个词进行处理，后一个词要等到前一个词的隐状态输出以后才能开始处理 如果传

原创 NLP学习路线

原创 算法工程师面试思维导图

原创 CRF笔记

本文先对马尔可夫过程及隐马尔可夫算法进行了简单的介绍；然后，对条件随机场的定义及其三种形式进行了详细推导；最后，介绍了条件随机场的三大问题，同时针对预测问题给出了代码实践。条件随机场(conditional random fields，简称 CRF，或CRFs)，是一种判别式概率模型，常用于标注或分析序列资料，如自然语言文字或是生物序列。条件随机场是条件概率分布模型P(Y|X)，表示的是给定一组输入随机变量X的条件下另一组输出随机变量Y的马尔可夫随机场，也就是说CRF的特点是假设输出随机变量构成马尔

原创 self-attention机制-简单笔记

对于decoder来讲，我们注意到有两个与encoder不同的地方，一个是第一级的Masked Multi-head，另一个是第二级的Multi-Head Attention不仅接受来自前一级的输出，还要接收encoder的输出，下面分别解释一下是什么原理。第一级decoder的key, query, value均来自前一层decoder的输出，但加入了Mask操作，即我们只能attend到前面已经翻译过的输出的词语，因为翻译过程我们当前还并不知道下一个输出词语，这是我们之后才会推测到的。而第二

原创 NLP思维导图

原创 图像分类算法汇总-思维导图