deep-learning
直觉与逻辑
可以关注我的同名微信公众号
展开
-
RNN(LSTM)网络可以使用那些正则化方法
r2-regularizationinput dropoutmask dropoutweight dropoutactivation regularization(AR)temporal activation regularization(TAR)adversarial dropout, fraternal dropout原创 2017-12-13 10:28:02 · 5347 阅读 · 0 评论 -
DataLossError (see above for traceback): corrupted record at XXXXXX
tensorflow.python.framework.errors_impl.DataLossError: corrupted record at XXXXDataLossError (see above for traceback): corrupted record at XXXXXXX错误的可能原因: tf record文件损坏,可以重新下载或者生成record文件; ...原创 2019-05-14 09:47:20 · 5445 阅读 · 1 评论 -
NLP中扩增数据的办法(增加噪音的办法)
1. 随机删除一些token(字,词,word-piece等); (0.1)2. 随机将一些token替换成未登录标记(`<UNK>`)(0.1)3. 随机使用词表中的token替代掉其他的token;(0.1)4. 随机交换token的顺序;(no further than three positions apart)5. 随机截断序列(sequence),分为从前截断和从...原创 2019-05-15 16:27:43 · 4601 阅读 · 0 评论 -
NLP(自然语言处理)中处理未登陆词的一些方式
未登陆词的集中处理方式character-basedword-pieceWord: Jet makers feud over seat width with big orders at stakewordpieces解码方式1: _J et _makers _fe ud _over _seat _width _with _big _orders _at _stakewordpiec...原创 2019-06-04 11:29:56 · 4798 阅读 · 0 评论 -
“Could not interpret optimizer identifier” error in Keras
“Could not interpret optimizer identifier” error in Keras原因是模型(model)和层(layers)使用tensorflow.python.keras(或者tensorflow.keras) API,优化器optimizer(SGD, Adam等)使用keras.optimizers,或者反之。这是两个不同的keras版本,放...原创 2019-06-18 11:38:20 · 31233 阅读 · 29 评论 -
RAdam的keras实现
简介Rectified Adam是最新提出的效果最优的adaptive stochastic优化器,超越了原始的Adam,稳定性也比warmup版本的Adam效果要好。原始论文地址:https://arxiv.org/abs/1908.03265本文主要记录RAdam的Keras实现。Keras实现继承自原始的Keras的Adam类.file: radam.py#coding=utf8...原创 2019-08-25 22:15:44 · 3642 阅读 · 0 评论 -
不用反向传播的HSIC Bottleneck到底讲了啥,及其keras实现
机器之心上周介绍了一篇论文,说是不用BP也能训练神经网络,论文叫做《The HSIC Bottleneck: Deep Learning without Back-Propagation》,HSIC Bottleneck: Deep Learning without Back-Propagation](https://arxiv.org/pdf/1908.01580v1.pdf)》,引用了一个HS...原创 2019-08-29 20:48:24 · 2669 阅读 · 1 评论