李宏毅系列课程
李宏毅系列课程
Forlogen
无论世事如何,你都要成为一个更优秀的人。
展开
-
李宏毅机器学习PTT的理解(1)深度学习的介绍
深度学习的介绍机器学习就像是寻找一个合适的函数,我们输入数据就可以得到想要的结果,比如:在语音识别中,我们输入一段语音,函数的输出值就是识别的结果;在图像识别中,输入一张照片,函数可以告诉我们分类的结果;在围棋游戏中,输出的下一步落子的位置等。学习的框架大致如下:创建的模型可以看成是一系列的函数,输入我们的训练数据后,计算代价函数的值,选择一个最好的函数形式用于我们的模型,然后在测试集...原创 2018-10-19 16:40:50 · 1135 阅读 · 0 评论 -
ELMO、BERT、ERNIE、GPT
这一讲承接了上一讲关于Transformer的部分,依次介绍了基于Transformer的多个模型,包括ELMO、BERT、GPT。因为上述的模型主要是应用在NLP中,因此首先我们必须清楚如何将离散的文本数据喂给模型,即如何用向量的方式来表征输入到模型的中的文本数据。最简单的一种方式就是one-hot向量,假设现在文档中只有apple、bag、cat、dog、elephant五个单词,那么就可以...原创 2019-06-14 21:47:39 · 3477 阅读 · 0 评论 -
Transformer
我们熟悉的Transformer就是变形金刚,因此可以说擎天柱就是一个Transformer,但是这里要说的并不是变形金刚,而是谷歌在发表在NIPS-2017上的《Attention Is All You Need》中提出的强大的特征提取器Transformer。下面主要从Attention model、Self-attention和Transformer三个方面对Transformer的机制做一...原创 2019-06-09 16:51:48 · 2183 阅读 · 0 评论 -
More About Auto-encoder
Auto-encoder是一个基本的生成模型,更重要的是它提供了一种encoder-decoder的框架思想,广泛的应用在了许多模型架构中。简单来说,Auto-encoder可以看作是如下的结构,它主要包含一个编码器(Encoder)和一个解码器(Decoder),通常它们使用的都是神经网路。Encoder接收一张图像(或是其他类型的数据,这里以图像为例)输出一个vector,它也可称为Embed...原创 2019-05-27 17:32:21 · 455 阅读 · 0 评论 -
Lifelong Learning
Lifelong Learninghttps://www.forbes.com/sites/kpmg/2018/04/23/the-changing-nature-of-work-why-lifelong-learning-matters-more-than-ever/#4e04e90e1e95终身学习(Lifelong Learning或Continuous Learning、 Nev...原创 2019-05-26 21:51:38 · 5226 阅读 · 2 评论 -
Explainable Learning
在机器学习中我们已经学习很多的模型,比如Linear Regression、LogisticsRegression、Decision Tress、Random Forest、Neural Network……,它们有着各自不同的用途,比如可以使用DT做分类,用LR来做回归。但除了各自擅长的领域不同之外,它们还有一个很大的不同之处,那便是可解释性。我们知道一个简单的Decision Tree可以看...原创 2019-05-25 14:39:08 · 606 阅读 · 0 评论 -
GAN
首先给出有关GAN的相关东西:paper:NIPS 2016 Tutorial: Generative Adversarial NetworksAuthor: Ian GoodfellowPaper Download: https://arxiv.org/abs/1701.00160Video: https://channel9.msdn.com/Events/Neural-Informa...原创 2019-03-31 09:17:18 · 425 阅读 · 0 评论 -
CGAN+StackGAN
关于CGAN的论文解读可见:https://blog.csdn.net/Forlogen/article/details/88980919李宏毅老师的主页:http://speech.ee.ntu.edu.tw/~tlkagk/courses_MLDS18.htmlB站视频:https://www.bilibili.com/video/av24011528?from=search&se...原创 2019-04-04 10:14:11 · 687 阅读 · 0 评论 -
李宏毅机器学习PTT的理解(2)深度学习为甚深?
在深度学习中,是不是我们模型的隐藏层越多,每一层的单元越多就越好呢?下面我们可以看一下在不同形式的层下的性能结果是的!这是在我们不考虑其他的因素的情况下的理想情况,现实中可能不能无限制的构建非常非常大的模型。那么我们能否只设置一个隐藏层,而在这一层设置非常多的神经元,构建一个Fat的神经网络呢?层数不多,每一层很大的网络相比于层数很多每一层不大的网络,哪个更好呢?我们同样看一下实验的...原创 2018-10-19 16:46:00 · 408 阅读 · 0 评论 -
Deep Reinforcement learning - Policy Gradient+PPO+TRPO
生物进化过程中为适应环境而进行的学习有两个特点人从来不是静止的被动等待而是主动的对环境进行试探环境对于人的试探动作产生一个反馈,人根据环境的反馈来调整以后的行为,是一种从环境状态到行为映射的学习因此从自然界中的种种规律中得到启发,便有了强化学习。强化学习(Reinforcement Learning,RL)又被称为再励学习、增强学习,是指从环境状态到行为映射的学习,以使系统行为从环境中获...原创 2019-07-08 15:21:56 · 712 阅读 · 0 评论