Deep Learning
Deep Learning 算法梳理
BruceJust
这个作者很懒,什么都没留下…
展开
-
标签平滑 Label smoothing / Temperature Softmax
标签平滑 Label smoothing逻辑为什么有效近期在查看一些训练技巧,无意中发现了标签平滑 Label smoothing,非常简单却有效的一个技巧,记录一下。逻辑思路很简单,如名,使标签更平滑。假设三分类标签 [1, 0, 0]从正确类的1中拿出一点点分给其他类,比如拿出0.1平分。变成 [0.933, 0.033, 0.033]代码如下:def label_smoothing(inputs, epsilon=0.1): K = inputs.get_shape().as_lis原创 2020-09-20 22:44:47 · 1639 阅读 · 0 评论 -
图解LSTM 结构逻辑
下图为LSTM的图结构,LSTM中通过3个门来控制信息传递,缓解RNN中长时间依赖导致的梯度爆炸或梯度弥散下面通过图解来介绍每一个门的逻辑原创 2020-05-17 23:33:01 · 951 阅读 · 0 评论 -
基于BERT fine-tuning的情感分类
近期在自己的数据集上尝试了BERT 的fine-tuning,效果不错,现在把自己的操作过程分享给大家。由于自己的数据不方便分享,我替换成了一份外卖情感分析,供大家使用。数据及完整代码:https://github.com/BruceJust/Sentiment-classification-by-BERT首先下载huggingface出品的transformers包,这...原创 2020-04-12 21:36:03 · 1436 阅读 · 2 评论 -
聊天机器人框架介绍
原创 2020-04-12 14:17:25 · 760 阅读 · 0 评论 -
归一化 Normalization/标准化 Standardization/中心化 Zero-centered 逻辑及应用场景
在机器学习的任务中,我们常常需要对数据做一定的处理,来优化模型效果或者优化计算效率下面梳理一个常见的方式归一化 Normalization通常是把数据变成 (0, 1) 或者 (-1, 1)之间的小数。主要方法就是把最大值与最小值分别映射到1, 0, 然后其他值按与最小值的差等比例缩小。这样可以把有量纲的表达式,经过变换,化为无量纲的表达式,成为纯量,便于不同单位或者量级的指...原创 2020-03-29 21:35:52 · 609 阅读 · 0 评论 -
欠拟合/过拟合 现象分析及对策
表象:过拟合,简单来说,训练数据分数很高,测试/评估数据分数不高欠拟合,训练数据分数不高,测试/评估数据分数也不高实际现象:以上说的是表象,我们再深入的分析一下实际现象呢,可以方便评估的指标就是偏差与方差。预测值与真实值的偏差与方差。下图是从李宏毅老师的课件中截图的。它清晰的表达了偏差与方差的状态。比较常见的训练过程中,通常在前几个epoch,train...原创 2020-03-28 23:43:16 · 400 阅读 · 0 评论 -
从每一个计算细节了解 transformer
目前NLP领域最火的是各种各样的BERT。而BERT的核心则是更早出生的transformer。今天就来理一理transformers,下面是transformer的原论文。Attention is All You Need:https://arxiv.org/abs/1706.03762首先是为什么要有transformer,在这之前我们训练seq2seq任务大多使用的是LST...原创 2020-03-23 21:53:57 · 4906 阅读 · 1 评论