Dong Hsueh

机器学习 吴恩达简介课程地址：吴恩达机器学习 -- 网易云课堂本笔记为自用笔记，因此只记录了自己觉得重要的部分，所以不建议想要系统学习的人阅读此笔记。绪论监督学习我们给算法一个数据集，其中包含了正确的答案，目的为给出更多的正确答案“回归问题”：regression“分类问题”：classification无监督学习只告诉算法这里有一堆数据，让算法自己找出数据...

Transformer 学习笔记本部分来源于论文 《Attention Is All You Need》0 摘要提出了一种新的模型 Transformer ，完全基于注意力机制，彻底省去了卷积和递归。在两个机器翻译的任务上证明了该模型质量上更优同时由于并行化更好导致所需的训练时间更少。可以很好的应用到其他的任务上。1 介绍RNN由于其固有的训练顺序导致很难并行化训练。大部...

BERT 学习笔记本部分来源于论文《BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding》 (arXiv: 1810.04805)0 摘要语言表示模型 —— BERT：Bidirectional Encoder Representations from Transformers（来...

学习笔记本部分来源于论文《Generative Adversarial Nets》（arXiv:1406.2661）。介绍到目前为止，深度学习中那些最显著的成功所涉及到的判别模型（discriminative model），通常是将那些高维的、丰富感知(rich sensory)输入映射到分类标签中。这些成功通常是基于反向传播和dropout算法，采用那些具有良好梯度的分段线性单元。但是...

BERT 源码初探之 run-pretraining.py本文源码来源于 Github上的BERT 项目中的 run_pretraining.py 文件。阅读本文需要对Attention Is All You Need以及BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding两篇论文有所了...

BERT 源码初探之 run_classifier.py本文源码来源于 Github上的BERT 项目中的 run_classifier.py 文件。阅读本文需要对Attention Is All You Need以及BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding两篇论文有所了解，...

BERT 源码初探之 create_pretraining_data.py本文源码来源于 Github上的BERT 项目中的 run_pretraining.py 文件。阅读本文需要对Attention Is All You Need以及BERT: Pre-training of Deep Bidirectional Transformers for Language Understandin...