关注
分享
文章平均质量分 76
经典入门课程，在一刷17版本的基础上，又刷了一次2020版，补充了GNN/ELMO/BERT等前沿内容
http://speech.ee.ntu.edu.tw/~tlkagk/courses_ML20.html
oldmao_2000
人工不智能，机器不学习。
展开
-
李宏毅机器学习笔记.Flow-based Generative Model(补)
文章目录引子生成问题回顾：GeneratorMath BackgroundJacobian MatrixDeterminant 行列式Change of Variable Theorem简单实例一维实例二维实例网络G的限制基于Flow的网络构架G的训练Coupling LayerCoupling Layer反函数计算Coupling Layer Jacobian矩阵计算Coupling Layer Stacking1×1 ConvolutionGLOW效果其他工作原视频见油管https://www.you原创 2023-11-02 11:02:03 · 815 阅读 · 0 评论 -
李宏毅学习笔记.Self-Supervised Learning（2021补）
发现有这一课没记录，补一下。原创 2023-10-22 15:58:46 · 281 阅读 · 1 评论 -
李宏毅学习笔记45.Life-long Learning
文章目录介绍Knowledge Retention but NOT IntransigenceExample – ImageExample – Question AnsweringMulti-task training 的两个问题Elastic Weight Consolidation (EWC)其他的Elastic Weight Consolidation (EWC)Generating DataAdding New ClassesKnowledge TransferLife-Long v.s. Tran原创 2020-08-07 20:35:38 · 1179 阅读 · 0 评论 -
李宏毅学习笔记45.Meta Learning番外
ML除了machine learning之外又有了新的意义：Meta Learning本节内容太繁杂，笔记只能记录大概。原创 2020-08-07 15:46:28 · 1594 阅读 · 0 评论 -
李宏毅学习笔记44.Meta Learning
文章目录介绍Meta Learning概念Meta Learning的三板斧第一板第二板第三板Meta Learning实例：OmniglotTechniques TodayMAMLMAML vs transfer learningMAML的trickMAML Toy ExampleWarning of MathMAML – Real ImplementationMAML 应用：TranslationReptile（简单介绍）More about Meta Learning介绍元学习Meta learn原创 2020-08-06 19:45:30 · 5704 阅读 · 0 评论 -
李宏毅机器学习绪论笔记汇总
大鱼AI的李宏毅机器学习训练营学员都看了第一课regression，写出了自己的博客这里先把同学的博客记录一下回头有空再自己整理先简单写写，熟悉一下markdown语法奔腾同学的笔记DisguiseR的笔记朱迪同学的笔记...原创 2019-05-07 14:25:09 · 464 阅读 · 0 评论 -
李宏毅学习笔记2.Regression: Case Study
为了引人课程，李老师先从最简单的回归入手，以一个二次元宝可梦的CP预测为例，讲解了机器学习的三部曲，这个三部曲的思想将贯穿整个课程的过程，各位要好好领悟。原创 2020-04-08 14:16:02 · 523 阅读 · 0 评论 -
李宏毅学习笔记3.Gradient Decent
复习先是复习之前课程中梯度下降的过程，回顾了大概的符号表示黄色部分就是梯度。作图表示出来就变成下面这个图：复习完毕就进入下一个环节：梯度下降法的一些小技巧TipsTip 1: Tuning your learning rates当只有两个参数的时候，可以画出左边的损失函数图形，然后在图上可以给出下面几个LR（Learning Rate）的建议：1、LR太小（蓝色），需要很久才会...原创 2019-05-13 19:12:55 · 1318 阅读 · 2 评论 -
李宏毅学习笔记4.分类Classification: Probabilistic Generative Model
文章目录分类的概念与应用教学案例问题描述宝可梦的数字化问题的重要性如何解决这个问题？插曲：能否使用回归的问题来解决分类问题？二分类的讨论多分类的情况问题的新描述Probabilistic Generative Model概率与分类的关系第一步第二步补充知识：高斯分布从79个样本推算出他们的高斯分布推算新样本点来自高斯分布的概率如何找到均值和协方差矩阵（最大似然 maximum likelihood...原创 2019-05-18 18:10:37 · 1254 阅读 · 0 评论 -
李宏毅学习笔记5.逻辑斯蒂回归
文章目录logistics与linear 回归的比较logistics回归的三板斧步骤一 找function set步骤二： Goodness of a function（决定函数的好坏）步骤三：find the best function填坑：为什么Logistics回归的损失函数不用square errorDiscriminative vs Generativelogistics与linea...原创 2019-05-23 10:22:46 · 1307 阅读 · 3 评论 -
李宏毅学习笔记6.深度学习概述
背景介绍DL很火，老师大概说了一下它能用的场景，给出了Jeff Dean（2009年当选美国工程院院士，2018年 4月3日，出任谷歌旗下搜索与人工智能（AI）业务部门的高级副总裁。）的一张ppt。图中显示的是DL在谷歌内部的项目数量。深度学习的发展史Up and downs of deep learning里面有些生词：受限玻尔兹曼机，英文名字是Restricted Boltzma...原创 2020-04-09 18:47:32 · 1680 阅读 · 0 评论 -
李宏毅学习笔记7.反向传播
BP的中心思想：信号正向传播，误差反向传播原创 2019-05-28 14:11:18 · 654 阅读 · 1 评论 -
李宏毅学习笔记8.Hello world of DL
文章目录前言Keras历史Keras的三板斧第一步：第二步：第三步：Mini-batch快在哪里？（SGD vs Mini-batch）模型的评估与预测前言这节课应该是比较简单，基本都是演示为主，老师开始就讲了为什么本次选择Keras而不少TensorFlow的原因。，然后讲如何用Keras来进行机器学习的三板斧，最后讲了一些关于mini batch的知识，后面还有演示的示例。**原因：**...原创 2019-05-30 15:40:12 · 415 阅读 · 0 评论 -
李宏毅学习笔记9Tips for Training DNN
文章目录前言DL的菜谱（方法）Recipe不同问题不同方法Training data性能差激活函数改进ReLUReLU变种Maxout怎么吹（Train）Maxout自适应学习率RMSpropMomentumAdamtesting data 性能差Early StoppingRegularizationDropout 抓爆抓爆的科学解释前言打开就吓到，86min的课程，这节课有很多老师独特的视...原创 2019-05-31 20:49:35 · 796 阅读 · 2 评论 -
李宏毅学习笔记10.Why Deep（上）
本节课老师从深度学习的学习效率与深度的关系开始展开，谈到了魔主化，并给出了老师的研究方向中的应用：语音识别中为什么DNN可以work better的原因。原创 2019-06-06 13:17:22 · 523 阅读 · 0 评论 -
李宏毅学习笔记10.Why Deep（下）
文章目录前言打个比方（Analogy）举个栗子（奇偶校验parity check）另外一个栗子（剪窗花）小实验toy example端到端学习语音识别例子图像识别例子更多需要DNN才能解决的复杂task其他参考资料前言接上节内容：李宏毅学习笔记11.Why Deep（上）。本节课老师从他老本行EE（Electronic Engineering）逻辑电路类比了神经网络，讲解了为什么神经网络有层次...原创 2019-06-07 10:04:37 · 830 阅读 · 0 评论 -
李宏毅学习笔记11.CNN（上）
从为什么用CNN来处理图像开始进行分析，然后得出三个重要原因，然后 分析了CNN的构架，然后从构架分析了对应的原因，最后用Keras来实践构建CNN网络进行训练。本节中老师讲解CNN和FCNN的联系这里非常玄妙原创 2019-06-03 20:20:11 · 1005 阅读 · 7 评论 -
李宏毅学习笔记11.CNN（下）
文章目录前言前言上篇分析了CNN的构架，究其原因就是CNN比起DNN大大的减少了参数。在线Latex公式DNN由于很复杂，所以可解释性不强，对于我们来说DNN就像是黑盒子，虽然效果不错，但是我们不知道它具体是如何实现的，所以在一些行业应用上DNN不怎么使用，例如用DNN来判别信用卡申请（本例子由支书提供）。本节开篇老师带我们大概分析一下CNN是如何进行学习的。...原创 2019-06-04 08:45:24 · 834 阅读 · 0 评论 -
番外.李宏毅学习笔记.12.GNN
文章目录前言IntroductionNN（略）Graph常见GNN应用ClassificationGeneration结合社交网络的分类现有问题RoadmapTasks, Dataset, and BenchmarkGraph Classification: SuperPixel MNIST and CIFAR10Regression: ZINC molecule graphs datasetNo...原创 2020-04-12 17:31:01 · 3413 阅读 · 9 评论 -
李宏毅学习笔记13.RNN Part I
监督学习先放一下，先来学习RNN，本节课先从一个订票系统实例出发，得到前馈神经网络在相同输入只能相同输出的缺点，引入了RNN来解决这个问题。接下来讲解了RNN常见的几种结构，尤其重点讲解了LSTM，并给出了LSTM计算实例原创 2019-06-10 14:35:48 · 1062 阅读 · 2 评论 -
李宏毅学习笔记13.RNN Part II
继续来看RNN，上节虽然了解了RNN的构架，以及如何计算（前向传播过程），但是RNN如何训练（学习）的呢？我们一起来学习吧。原创 2019-06-13 12:31:02 · 1159 阅读 · 0 评论 -
李宏毅学习笔记14.ELMO、BERT、GPT
文章目录前言Example Application前言这块内容也是2020版新加的Recurrent Neural Network (RNN)Example Application原创 2020-04-13 12:35:03 · 688 阅读 · 0 评论 -
李宏毅学习笔记15.Transformer
文章目录Sequence to SequenceSelf-Attention生成过程并行过程小结Multi-head Self-attention（2 heads as example）Positional EncodingSeq2seq with Attention总结应用在线LaTeX公式编辑器看封面就知道，这节课是讲transformer，它的主要应用是BERT，BERT就是unsupe...原创 2020-04-13 21:04:00 · 810 阅读 · 0 评论 -
李宏毅学习笔记16.半监督学习
深度学习的内容到上节就结束了，接下来还剩下监督和半监督学习，半监督学习只有一个课时。半监督学习基于某种假设，本节课先介绍了在Generative Model中的应用，然后讲了两种常见假设，最后挖一坑，留待监督学习再讲。原创 2019-06-08 15:25:53 · 1004 阅读 · 0 评论 -
李宏毅学习笔记17.Unsupervised Learning.04: Word Embedding
文章目录词嵌入的由来：1-of-N EncodingWord ClassWord EmbeddingWord Embedding咋做如何找出词的含义有两个方法：·Count based·Perdition based扩展数学表达训练Various Architectures词嵌入的可视化效果多语言词嵌入多领域嵌入Document Embedding公式输入请参考：在线Latex公式词嵌入的由来...原创 2020-04-15 15:59:39 · 718 阅读 · 0 评论 -
李宏毅学习笔记18.Explainable ML
文章目录简介例子原因Myth of Explainable MLInterpretable v.s.PowerfulLocal Explanation: Explain the DecisionBasic ldeaLimitation of Gradient based ApproachesAttack Interpretation?!Case Study: Pokémon v.s. Digimo...原创 2020-04-20 17:48:39 · 1030 阅读 · 0 评论 -
李宏毅学习笔记19.Attack and Defense
文章目录简介Attack（重点）做法Loss Function for Attack约束的定义如何攻击例子小结其他方法Attack ApproachesFGSMWhite Box v.s. Black BoxBlack Box AttackUniversal Adversarial AttackAdversarial ReprogrammingAttack in the Real WorldDef...原创 2020-04-21 16:02:27 · 1269 阅读 · 0 评论 -
李宏毅学习笔记20.Network Compression
NETWORK COMPRESSION由于未来我们的模型有可能要运行在很多类似手机，手表，智能眼镜，无人机上，这些移动终端的算力和存储空间有限，因此要对模型进行压缩（变小）。本节内容从五个方面进行展开。当然也可以根据具体的硬件平台定制专门的模型架构（本节不涉及这些内容）。原创 2020-04-21 20:02:00 · 768 阅读 · 0 评论 -
李宏毅学习笔记21.Conditional Generation by RNN&Attention
文章目录简介Generation例子Conditional GenerationAttentionMachine TranslationSpeech RecognitionImage Caption GenerationMemory NetworkNeural Turing MachineTips for Generationattention的正则化Mismatch between Train ...原创 2020-04-23 20:39:58 · 802 阅读 · 0 评论 -
李宏毅学习笔记22.Pointer Network
文章目录简介Applications-SummarizationMachine TranslationChat-bot简介这块内容其实是和上一节内容是一起的，估计视频太长，切开了。https://blog.csdn.net/oldmao_2001/article/details/102731782公式输入请参考：在线Latex公式问题的原始描述是有一堆的点，要找出最外围的点，使得这些点...原创 2020-04-24 15:46:50 · 550 阅读 · 0 评论 -
李宏毅学习笔记23.Unsupervised Learning.01: Linear Dimension Reduction
非监督学习分为两大类：Clustering & Dimension Reduction 和Generation，这节主要是讲前者中的Dimension Reduction（Linear Methods），对PCA进行了重点讲解。原创 2019-06-30 14:46:05 · 741 阅读 · 2 评论 -
李宏毅学习笔记24.Unsupervised Learning.02: Neighbor Embedding
非监督学习分为两大类：Clustering & Dimension Reduction 和Generation，上节讲的是线性的降维PCA，这节主要是讲非线性降维：TSNE，先从NE讲起。原创 2019-07-07 16:21:20 · 438 阅读 · 0 评论 -
李宏毅学习笔记25.Unsupervised Learning.03: Deep Auto-encoder
文章目录Auto-encoderStarting from PCADeep Auto-encoderPokemonAuto-encoder-Text RetrievalAuto-encoder-Similar Image SearchPre-training DNNDe-noising auto-encoderAuto-encoder for CNNCNN-UnpoolingCNN-Deconvo...原创 2020-01-17 19:11:44 · 774 阅读 · 0 评论 -
李宏毅学习笔记26.Unsupervised Learning.05: Deep Generative Model (Part I)
文章目录Generative ModelsPixelRNNVariational Auto Encoder(VAE)Writing PoetryGenerative Models就是致力于让机器自主学习的一些方法，比较有名的有下面几种：PixelRNNVariational Autoencoder(VAE)Generative Adversarial Network(GAN)下面大...原创 2020-01-18 08:59:38 · 720 阅读 · 0 评论 -
李宏毅学习笔记27.Unsupervised Learning.05: Deep Generative Model (Part II)
文章目录原创 2020-01-30 19:43:26 · 656 阅读 · 3 评论 -
李宏毅学习笔记28.More About Auto-Encoder
文章目录简介Beyond ReconstructionHow to evaluate an encoder?简介本节是新加的内容，AUTO-ENCODER有很多内容在本节中补充。公式输入请参考：在线Latex公式AUTO-ENCODER模型构架如上图所示，中间的vector也被称为：Embedding,Latent Representation,Latent Code那么本节要从两个...原创 2020-04-26 16:00:45 · 681 阅读 · 0 评论 -
李宏毅学习笔记29.Anomaly Detection
Anomaly Detection就是要机器知道它不知道这件事情。原创 2020-04-27 14:17:41 · 1070 阅读 · 0 评论 -
李宏毅学习笔记30.GAN.01.Introduction of Generative Adversarial Network
文章目录简介GenerationBasic Idea of GANGeneratorDiscriminator二者的关系Algorithm语言描述版数学描述版例子：Anime Face GenerationGAN as structured learningStructured LearningStructured Learning面临的挑战Structured Learning Approach...原创 2020-05-03 15:42:29 · 1353 阅读 · 0 评论 -
李宏毅学习笔记31.GAN.02.Conditional Generation by GAN
文章目录简介Text-to-ImageTraditional supervised approachNormal GANConditional GAN算法Conditional GAN - Discriminator作业实例Stack GANImage-to-image传统做法Conditional GANPatch GANSpeech Enhancement传统做法Conditional GAN...原创 2020-05-03 16:18:50 · 777 阅读 · 0 评论 -
李宏毅学习笔记32.GAN.03.Unsupervised Conditional Generation
文章目录简介Unsupervised Conditional GenerationDirect Transformation法1：直接忽略法2：向量化限制法3：Cycle GANIssue of Cycle Consistency其他Cycle GANstarGAN For multiple domainsProjection to Common SpaceVoice ConversionRefe...原创 2020-05-04 15:22:12 · 959 阅读 · 0 评论