深度学习
文章平均质量分 79
赵文淮
这个作者很懒,什么都没留下…
展开
-
随笔-关系抽取(三) — Dependency-based Models
关系抽取(三) — Dependency-based ModelsImproved Relation Classification by Deep Recurrent Neural Networks with Data Augmentation现状模型Bidirectional Recurrent Convolutional Neural Network for Relation Classifi...原创 2020-01-18 21:04:52 · 612 阅读 · 0 评论 -
随笔-关系抽取(二) — RNN-based Models
关系抽取(二) — RNN-based ModelsAttention-Based Bidirectional Long Short-Term Memory Networks for Relation Classification现状模型代码Semantic Relation Classification via Bidirectional LSTM Networks with Entity-aw...原创 2020-01-17 00:46:37 · 1198 阅读 · 0 评论 -
随笔-关系抽取(一) — CNN-based Models
关系抽取(一) — CNN-based ModelsRelation Classification via Convolutional Deep Neural Network现状模型代码Classifying Relations by Ranking with Convolutional Neural Networks现状模型实现Relation Classification via Multi-...原创 2020-01-16 17:47:45 · 2274 阅读 · 0 评论 -
随笔-Attention
AttentionEncoderDecoderEncoderclass Encoder(tf.keras.Model): def __init__(self, vocab_size, embedding_dim, enc_units, batch_sz): super(Encoder, self).__init__() self.batch_sz = b...原创 2020-01-14 14:24:22 · 257 阅读 · 0 评论 -
Bert源代码(二)模型
Bert源代码(二)模型模型训练、评估和预测流程Bert模型Transformer模型Bert模型Bert模型代码解析参考文献export BERT_BASE_DIR=/path/to/bert/uncased_L-12_H-768_A-12export GLUE_DIR=/path/to/gluepython run_classifier.py \ --task_name=MRPC \...原创 2019-10-12 17:52:25 · 995 阅读 · 0 评论 -
深度学习-后向传播算法
深度学习-后向传播算法前向传播为什么需要反向传播后向传播梯度下降[^1]链式法则一次前向传播[^2]后向传播反向传播的问题及解决方案深度学习的第一步,一定要理解后向传播算法。前向传播∂C∂wj≈C(w+ϵej)−C(w)ϵ\frac{ ∂C }{ ∂wj }≈C(w+ϵej)−C(w)ϵ∂wj∂C≈C(w+ϵej)−C(w)ϵ计算损失函数C关于每个权重wj 的梯度,都需要对于每一个样本计...原创 2019-09-17 11:10:11 · 1250 阅读 · 0 评论 -
Tensorflow Optimizer介绍
训练常规做法:1. 定义损失函数loss2. 使用optimizer进行minimize损失函数lossminimize loss的由两部分组成:compute_gradientscompute_gradients( loss, var_list=None, gate_gradients=GATE_OP, aggregation_method=None...原创 2019-10-08 22:26:04 · 518 阅读 · 0 评论 -
Bert源代码(一)预训练
Bert源代码解析(一)预训练生成预训练数据执行代码创建训练示例先使用FullTokenizer进行tokenizationFullTokenizer再使用create_instances_from_document为每个文档创建实例create_instances_from_document生成预训练数据tfrecord预训练定义RunConfig的config定义TPUEstimatorSpe...原创 2019-10-11 15:00:38 · 965 阅读 · 1 评论