![](https://img-blog.csdnimg.cn/20201014180756925.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
深度学习笔记
文章平均质量分 88
vrerain
学生一枚
个人博客: vrerain.website
展开
-
机器学习笔记14_Life long learning& meta learning
本文是李宏毅机器学习的笔记,这是第十二节,介绍了域适应和网络压缩技术。文章目录1. Life Long LearningCatastrophic Forgetting2. Meta Learning1. Life Long LearningLife Long Learning就是让机器可以持续学习,能处理各种各样的任务。也就是模型通过不断看新的资料,得到反馈,然后更新自身,变得更厉害,能处理更多事情。但是我们发现,机器学完一个任务之后,再去学另一个任务,那第一任务就会被遗忘,而且这与模型自身的能原创 2022-03-29 15:19:56 · 1476 阅读 · 0 评论 -
机器学习笔记12_Domain Adapation&Network Compression
本文是李宏毅机器学习的笔记,这是第十一节,介绍了深度学习的可解释性和模型的攻击和防御。文章目录1. AI的可解释性1. AI的可解释性原创 2022-03-26 21:19:10 · 1543 阅读 · 0 评论 -
机器学习笔记13_Introduction of Deep Reinforcement Learning(RL)
本文是李宏毅机器学习的笔记,这是第十三节,介绍了强化学习。文章目录1. What is RL?2. Policy Gradient3. Actor-Critic4. Reward Shaping5. No Reward: Learning from Demonstration1. What is RL?在一些场景中,可能标签数量会很多,所以在没有明确的标签的情况下,机器应该知道自己结果的好坏。强化学习的流程如下所示:输入一个函数,通过现有的环境,然后Actor采取一个Action,然后环境给予Ac原创 2022-03-26 21:19:23 · 1368 阅读 · 0 评论 -
机器学习笔记11_Explainable AI & Adversarial Attack
本文是李宏毅机器学习的笔记,这是第十一节,介绍了深度学习的可解释性和模型的攻击和防御。文章目录1. AI的可解释性Local ExplanationGlobal Explanation2.Adversarial AttackHow to AttackHow to AttackDefense1. AI的可解释性为什么我们需要可解释性的AI,因为回答正确不一定代表它学到了东西,例如神马汉斯,宝可梦、数码宝贝分类器最初版。下图是为什么AI需要可解释的一些其它原因,另外如果AI有了可解释性,当它预测错误时,原创 2022-03-22 20:55:28 · 1210 阅读 · 0 评论 -
机器学习笔记10_Self-supervised Learning
本文是李宏毅机器学习的笔记,这是第十节,介绍了Bert、GPT、Auto-encoder、Anomaly Detection等自监督学习技术。文章目录1. Bert & GPTHow to use bert1. Bert & GPT监督学习和自监督学习的区别如下所示:监督学习由数据及其标签进行模型训练。而自监督学习只有数据进行模型训练,也就是说标签不是标注出来的,而是从输入数据中获取到的。例如使用Masking Input技术进行训练,通过盖住输入数据中的一个字,然后然后模型预原创 2022-03-22 16:34:08 · 314 阅读 · 0 评论 -
机器学习笔记9_Generative Model(GAN)
本文是李宏毅机器学习的笔记,这是第九节,介绍了GAN网络。文章目录1. GAN概述GeneratorDiscriminator流程2. GAN原理3. Tips for GAN4. Conditional Generation5. Learning from Unpaired Data6. Evaluation of Generation1. GAN概述GeneratorGenerator可以利用一个简单的分布数据生成一个复杂的分布数据。为什么不做成输入和输出相互对应的方式,而要将简单的分布当作原创 2022-03-22 09:31:23 · 756 阅读 · 0 评论 -
机器学习笔记8_RNN & Word Embedding
本文是李宏毅机器学习的笔记,这是第八节,介绍了RNN网络以及Word Embedding技术。文章目录1. RNNLSTMApplicationsDeep & Structured2. Word Embedding1. RNN由于在一些场景中,我们需要考虑之前的输入,所以我们需要将之前的信息进行存储。例如下图中的两句话Taipei,分别表示目的地和出发地,所以我们需要考虑上下文。RNN网络可以将之前的信息进行存储,这样就可以让模型考虑上下文信息。RNN也可以做成Deep的结构RNN原创 2022-03-21 20:02:25 · 934 阅读 · 0 评论 -
机器学习笔记7_Transformer
本文是李宏毅机器学习的笔记,这是第七节,介绍了Transformer的相关知识。文章目录1. Self-Attention机制复杂的输入和输出Self-Attention机制介绍Self-Attention应用2. Transformer算法3. Batch-Normalization1. Self-Attention机制复杂的输入和输出一个模型的输入和输出有很多复杂的形式。例如输入可以是一个向量或者一系列向量的组合。一系列向量输入方式有很多,例如One-Hot Encoding、Word Embe原创 2022-03-21 14:47:35 · 830 阅读 · 0 评论 -
机器学习笔记6_Convolutional Neural Network (CNN)
本文是李宏毅机器学习的笔记,这是第六节,介绍了常用于图像处理的卷积神经网络CNN。文章目录1. Image ClassificationObservation 1Observation 2Observation 3Application1. Image Classification用全连接网络处理图片并不是一个好的想法,因为图片一般都很大,所以全连接的网络,计算复杂度是很大的,我们可以观察图片的特点,通过图片的特点,用特定的神经网络来处理图片。Observation 1从上述观察中可以看出,神原创 2022-03-20 21:42:39 · 386 阅读 · 0 评论 -
机器学习笔记5_Why Deep Learning & BP
本文是李宏毅机器学习的笔记,这是第五节,介绍了为什么是Deep Learning,以及介绍了反向传播算法。文章目录1. Why Deep Learning2. BackPropagation1. Why Deep Learning深度学习就是在4中提到的鱼和熊掌可兼得的一种方法。首先回顾一下network的构成。从下面的实验中,可以看出Thin+Tall的神经网络表现的要更好一些。所以,虽然一层神经网络只要足够宽就可以表示任何函数,但是对比相同参数量的deep structure效果要差很多。原创 2022-03-20 09:38:11 · 509 阅读 · 0 评论 -
机器学习笔记4_浅谈机器学习原理(宝可梦、数码宝贝分类器)
本文是李宏毅机器学习的笔记,这是第四节,通过宝可梦、数码宝贝分类器简单的介绍了机器学习的原理。文章目录1. 宝可梦、数码宝贝分类器流程2. 训练细节1. 宝可梦、数码宝贝分类器流程由于宝可梦和数码宝贝画风不同,数码宝贝的画风更为复杂,所以使用线条数量h来简单的定义一个函数然后定义损失函数2. 训练细节然后我们进行训练,但是训练的时候会有一个问题,就是用于训练的数据不是所有的数据,只是部分数据,所以我们希望理想和现实尽可能的相近。我们希望理想和现实尽可能的相近,那么只要对于任意的h,有∣L原创 2022-03-19 20:56:30 · 857 阅读 · 0 评论 -
机器学习笔记3_机器学习任务攻略
本文是李宏毅机器学习的笔记,这是第三节,简单的介绍了训练机器学习任务的一些策略。文章目录1. 一般指南model biasoptimization issueoverfittingMismatch2. 为什么使用验证集后效果依旧不好3. When gradient is smallsaddle point 和 local minimasaddle point VS local minima4. Tips for training:Batch and MomentumBatchMomentum5. Tips原创 2022-03-19 19:39:15 · 532 阅读 · 0 评论 -
机器学习笔记2_深度学习介绍
本文是李宏毅机器学习的笔记,这是第二节,简单的介绍了深度学习的流程。文章目录1. 概述2.机器学习的流程定义函数定义损失函数优化更复杂的模型运行流程1. 概述所谓机器学习,就是找个函数,这个函数可以应用于各种任务,比如分类任务和回归任务,在现今,机器学习更常被用来输出一些具有结构性的内容,例如图片,短文等,这就是结构学习,让机器能够创造一些有结构性的东西。2.机器学习的流程在本节中,同过举一个线性模型的例子,通过这个例子来说明深度学习的流程。定义函数定义一个具有未知参数的函数作为我们的模型,用原创 2022-03-18 16:09:54 · 448 阅读 · 0 评论 -
机器学习笔记1_课程基本介绍
本文是李宏毅机器学习的笔记,这是第一节,介绍了及机器学习的基本概况。文章目录1. 概述2.机器学习的一些方法Supervised LearningSelf-supervised LearningGenerative Adversarial NetworkReinforcement Learning(RL)Anomaly DetectionExplainable AIModel AttackDomain AdaptationNetwork compressionLife-long LearningMeta原创 2022-03-17 17:29:04 · 1041 阅读 · 0 评论