Stink1995-CSDN博客

原创史上最小白之Transformer详解

1.前言博客分为上下两篇，您现在阅读的是史上最小白之从Attention到Transformer详解(下)上篇博客地址：史上最小白之从Attention到Transformer详解(上)在上篇中我们已经介绍了Encoder-Decoder，Attention机制，self-Attention，今天就来一起看看近两年大火的Transformer。2.Transformer 原理2.1 Tr...

2020-03-27 05:55:10 331748 130

原创史上最小白之Attention详解

1.前言说到attention机制，那可真是太牛逼了。不会attention都不好意思说自己视深度学习从业者，那么今天我们就来一步一步剖析一下这近几年来最火的深度学习模型。2.Encoder-Decoder2.1Encoder-Decoder简介Encoder-Decoder框架顾名思义也就是编码-解码框架，目前大部分attention模型都是依附于Encoder-Decoder框架进行实...

2020-03-24 00:25:10 108900 43

原创史上最小白之LSTM 与 GRU详解

1.前言上一篇介绍了循环神经网络 RNN，正好今天周日在家闲着也是闲着，就干脆趁热打铁，把LSTM和GRU也介绍一下吧。不太清楚RNN原理的同学可以参考我上一篇博客：史上最小白值RNN详解2.LSTM （Long short-term memory）2.1为什么需要LSTMLong short-term memory，也就是长短期记忆，那么从字面意思来理解LSTM就是一种不仅具有短期记忆而...

2020-03-18 22:16:20 11966 9

1.前言网上目前已经有诸多优秀的RNN相关博客，但是我写博客的出发点主要是为了加深和巩固自己的理解，所以还是决定自己再进行一下总结和描述，如有不正确的地方欢迎指正~2.区分RNN循环神经网络(Recurrent Neural Network)，递归神经网络(Recursive Neural Network)，你有没有发现他们的缩写都是RNN，那他们两个是同一回事儿吗？网上有一些博客把这两就当...

2020-03-14 22:19:40 45998 25

原创史上最小白之BM25详解与实现

史上最小白之BM25详解与实现原理BM25算法是一种计算句子与文档相关性的算法，它的原理十分简单：将输入的句子sentence进行分词，然后分别计算句子中每个词word与文档doc的相关度，然后进行加权求和。得到句子与文档的相关度评分。评分公式如下：Score(Q,d)=∑inWiR(qi,d)Score(Q,d) = \sum_i^nW_iR(q_i,d)Score(Q,d)=i∑n...

2020-03-09 07:19:20 21579 7

原创史上最小白之TextCNN 中文文本分类实战

虽然现在已经有了异常强大的bert，效果也是非常好，但是bert啊，实在是太消耗计算资源了，本穷小子又买不起GPU服务器，只能使用colab进行学习，经常出现内存不够地情况，所以如果你也跟我一样没有比较好的GPU服务器，那么在做分类任务时，可以尝试选择TextCNN，而且目前在文本分类任务上TextCNN也取得了不错的效果。上一篇文章：史上最小白之CNN 以及 TextCNN详解已经介绍了Tex...

2020-03-07 05:07:45 16393 36

原创史上最小白之CNN 以及 TextCNN详解

史上最小白之CNN 以及 TextCNN详解本小白是一名立志从事NLP的菜鸟，本来只准备写一篇TextCNN来加深自己理解地，但想要了解TextCNN那必然需要了解CNN的原理，写的过程中突然想起了自己在学习时各种看博客的心路历程，看一篇博客要是有太多的地方博主没怎么介绍，而自己又不懂的话就会特别烦，看一半就会不想看了，又再去茫茫互联网中搜索其他的博客实在是太没效率和打击学习积极性了，于是写着写...

2020-02-27 02:58:22 14779 11

原创小白学习决策树的一些个人理解

1 什么是决策树？顾名思义，就是构建一棵能够帮助我们做出决策的树形结构什么是树形结构？如上图所示，树形结构包含：根节点，父节点，子节点和叶子节点。根节点没有父节点，也就是初始的节点，可以理解成就是输入的整个数据集。父节点和子节点是一组相对概念，以图中为例，1是根节点同时又是2,3的父节点，2,3是1的子节点，同时2又是4的父节点，3是5,6的父节点，4是2的子节点，5,6是3的子节点，如果...

2019-12-09 16:17:26 2309 1

Tink1995的博客

原创史上最小白之Bert详解