![](https://img-blog.csdnimg.cn/20201014180756923.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
李宏毅2020ML
文章平均质量分 71
小葵向前冲
这个作者很懒,什么都没留下…
展开
-
李宏毅2020ML——P84-P94 Meta Learning
Meta Learningintroduction3 stepsStep1:define a set of learning algorithmDefining the goodness of a function ????Find the best function ????∗数据集2 ideasMAMLReptileintroduction要机器学会如何学习同样会有一个F(function)Machine learning 和Meta Learning的区别3 steps机器学习经原创 2021-03-29 20:19:09 · 182 阅读 · 0 评论 -
李宏毅2020ML——P83 Transfer Learning
transfer learningintroduceideaslabelled-labelledModel Fine-tuningMultitask Learningunlabelled-labelledDomain-adversarial trainingZero-shot learningintroduce为什么需要transfer learning在某些特定领域的data是很少的,但是其他领域的data确实很多的。分情况讨论ideaslabelled-labelledModel F原创 2021-03-29 11:07:19 · 140 阅读 · 1 评论 -
李宏毅2020ML——P80通过GAN改进序列生成
OutlineConditional Sequence GenerationRL (human feedback)GAN (discriminator feedback)三个解决不能微分的办法:Gumbel-softmaxContinuous Input for DiscriminatorReinforcement LearningUnsupervised Conditional Sequence GenerationText Style TransferUnsupervised Abstractive S原创 2021-03-26 20:43:57 · 159 阅读 · 0 评论 -
李宏毅2020ML——P79使用GAN做智能p图
介绍:使用GAN来进行智能图像编辑,包括编辑原图像,Image super resolution和Image Completion等智能P图需要反推出输入vector的每个dimension表示什么特征知道图像x对应的vector z是什么知道怎么去做调整对于商品进行修改思想:三个方法反推得到对应的code最优化求解...原创 2021-03-26 15:02:29 · 195 阅读 · 0 评论 -
李宏毅2020ML——P78 Feature Extraction
feature extractioninfo-GANVAE-GANBiGANTriple GANDomain-adversarial traininginfo-GAN希望我们的vector每一维度都有对应的特征什么是info-GAN为什么c代表图片的某些主要特征实验结果VAE-GANVAE和GAN的组合算法流程BiGAN也是在autoencoder上面进行修改算法流程:最佳编码器和解码器:“Autoencoder” ——AutoencoderTriple GA原创 2021-03-26 14:14:07 · 139 阅读 · 0 评论 -
李宏毅2020ML——P77 WGAN(tips for improving GA)
introduceJS divergence 不是最适合的JS divergence的缺陷在于解决办法一:LSGAN解决办法二——WGAN思想介绍:但是挖土的方法有很多示例最好的moving plans用矩阵来帮助计算既然计算移动距离不容易,那么我们为什么需要怎么做呢修改discriminator需要加上限制函数WGAN-GP提升方法连接data的交点形成一个Ppenalty这样的方式也会出现问题Spectrum NormWGAN的流程EB原创 2021-03-25 20:40:45 · 163 阅读 · 0 评论 -
李宏毅2020ML——P74 Unsupervised Conditional Generation
无监督的有条件生成introduceDirect Transformation第一种:直接忽略第二种:改变NN架构,加入encoder第三种做法:Cycle GANCycle GAN遇到的问题StarGANProjection to Common Spaceapplication语言转换introduce回顾无监督学习:举例Direct Transformation第一种做法:直接转(多用于纹理或颜色变化)最开始的想法:缺点:可能得不到我们的答案解决办法有很多:第一种:直接忽略如原创 2021-03-24 19:11:18 · 113 阅读 · 0 评论 -
李宏毅2020ML——P73 Conditional GAN
有条件的GANtext to imageimage to imagePatch GANspeech enhancementvideo generationtext to image传统做法的问题在于会取得很多正确结果的平均,有些会很模糊,有些产生的并不正确。引入GAN之后,我们在图片生成里面加入条件,也会有一些问题因此,我们需要在判别器的input也加入条件这个网络架构有两种得到的实验结果image to image输入几何图片生成真实的图片传统的做法,和text to ima原创 2021-03-24 10:52:01 · 141 阅读 · 0 评论 -
李宏毅2020ML——P65-70 异常检测
异常检测introducecase1:with labelscase2:without labelsintroduce什么是异常检测?这个问题公司化:宝可梦举例:一些应用:很正常的想法:这个问题可以根据training data分为:case1:with labels接下来会以识别是不是辛普森家庭为例子我们需要有label的数据通过这些数据训练出一个classifier得到置信度分数结果测试:那么现在我们把辛普森家庭和其他动漫图片的所有数据都进行confide原创 2021-03-23 20:15:35 · 115 阅读 · 0 评论 -
李宏毅2020ML——P63 ELMO、BERT、GPT
让机器看懂人类文字introduceELMOBERTGPT(Generative Pre-Training)introduce之前的做法:但是问题在于,同一个单词会有很多不同的意思,尽管在差不多的位置更多的例子ELMO基于RNN预测下一个单词同样可以deep但是会有很多层,选择哪一层呢全部都要BERT架构是transformers的encoder一样的第一个训练的方法第二个训练做法:使用方法一:使用方法二:使用方法三:使用方法四:ERNIE原创 2021-03-23 16:40:57 · 119 阅读 · 0 评论 -
李宏毅2020ML——P59-62更多关于auto-encoder
more for auto-encodermore than minimizing reconstruction errorUsing DiscriminatorSequential DataMore interpretable embeddingfeature Disentanglediscrete and structuredmore than minimizing reconstruction errorWhat is good embedding?Using Discriminator利原创 2021-03-23 14:24:03 · 114 阅读 · 0 评论 -
李宏毅2020ML——P58 自动编码器
自编码器introduceapplicationtext retrievalbeforeauto-encoder——text retrievalSimilar Image SearchPre-training DNNfor CNNOther Auto-encoderDe-noising auto-encodergenerationintroduce与PCA对比can deep效果对比二维可视化applicationtext retrievalbeforeauto-encoder原创 2021-03-23 10:57:40 · 299 阅读 · 0 评论 -
李宏毅2020ML——P57无监督学习-近邻嵌入
近邻嵌入介绍局部线性嵌入LLE拉普拉斯特征映射t-SNE介绍流行学习局部线性嵌入LLE思想:做法:注意点:拉普拉斯特征映射回顾之前做法:t-SNE之前的缺陷:做法:Similarity Measure示例:...原创 2021-03-22 21:19:39 · 105 阅读 · 0 评论 -
李宏毅2020ML——P56 无监督学习 引言
无监督学习引言PAC宝可梦的例子一些例子NMF矩阵分解和推荐系统引言关于无监督学习:什么是cluster?cluster的另外一种方法我们今天主要讨论的是化繁为简dimension reduction是啥那么为什么dimension reduction会是有用的呢?拿手写数字识别来说,我们原本的参数是28*28的pixel,但是有很多都是多余的,我们需要去繁化简,找到最主要的components我们用distributed representation 而不是cluster那我原创 2021-03-22 20:09:40 · 122 阅读 · 0 评论 -
李宏毅2020ML——P51-54生成模型和注意力模型
生成模型和注意力模型generationbasicconditional generationattentionSpeech recognitionimage caption generationmemory networkneural turing machinetips for GenerationPointer networkgenerationbasic基本思想:逐组件生成结构化对象组件比如说:要ML写一首诗也可以去生成图片:但是上面的方法会出现一些问题,并没有考虑到图片像素之间的几原创 2021-03-19 14:45:34 · 149 阅读 · 0 评论 -
李宏毅2020ML——P43-48Network Compression网络压缩
Network Compressionintroduce5个方法network PruningKnowledge DistillationParameter QuantizationArchitecture DesignDynamic Computationintroduce为什么需要压缩?是因为我们需要ML可以运用到更多的地方5个方法network Pruning简单思想:网络清理,把一个大的Network去剪掉一些不必要的weight和neuron现在普遍的网络都是冗余的对于网络剪枝原创 2021-03-18 11:19:11 · 125 阅读 · 2 评论 -
李宏毅2020ML——P33-40 Attack ML models
attack and defenseattackintroduce思想FGSMblack box attackdefenseintroduce被动防御主动防御attackintroduce为什么会有攻击ML的出现呢?我们要去攻击一个ML,我们需要可以做到什么样子的事情呢?下图是一个图像识别的model,我们希望在原图片上面加上一些杂讯,经过同样的NN后,会得到完全不一样的结果。那我们如何去找到那个很特殊的杂讯呢?对于限制的条件,距离的计算有两种方法思想那么我们如何去攻击呢?我们的原创 2021-03-17 20:36:50 · 126 阅读 · 0 评论 -
李宏毅2020ML——P24-31可解释性ML
Explainable machine learningintroduceLocal Explainable基本的思想:global Explainable方法1——activation maximization方法二利用一个可解释model去解释不可解释的modelLinear Model决策数introduce在分类问题中,我们输入一张猫的图片,machine会告诉我们这是”猫“,但是为什么?问题1:为什么machine会认为这个是猫呢?问题2:machine眼中的猫是什么样子的呢?或者是m原创 2021-03-17 12:19:50 · 360 阅读 · 0 评论 -
李宏毅2020ML——无监督学习之词嵌入
unsupervised learningintroduceword embedding基本思想:Count basedPrediction basedApplicationintroduce词嵌入(word embedding)是降维算法(Dimension Reduction)的典型应用:那如何用vector来表示一个word呢?:思想:如何去做呢?之前提到过一种基于神经网络的降维方法,Auto-encoder,就是训练一个model,让它的输入等于输出,取出中间的某个隐藏层就是降维的原创 2021-03-16 20:28:20 · 199 阅读 · 0 评论 -
李宏毅2020ML——P22 semi-supervised半监督学习
semi-supervisedintroduceSemi-supervised Learning for Generative ModelLow-density Separation AssumptionSmoothness AssumptionBetter Representationintroduce简单介绍:为什么半监督学习会有效果呢?Semi-supervised Learning for Generative Model生成模型的半监督学习监督生成模型:半监督生成模型:具体原创 2021-03-16 19:28:25 · 211 阅读 · 0 评论 -
李宏毅2020ML——P21-P22 RNN 循环神经网络
Recurrent Neural Networkintroductionexample applicationSlot FillingRNN basic concept不同的变形Elman Network & Jorddan NetworkBidirectional RNNLSTMLearning TargetLoss FunctionTrainingproblemwhyHelp Techniquesmore applicationsentiment analysisKey term Extract原创 2021-03-16 15:21:25 · 205 阅读 · 0 评论 -
李宏毅2020ML——P15 为什么deep learning
why deep?Shallow V.s. Deep简单对比ModularizationexampleSpeech传统做法结论举例End-to-end LearningComplex TaskShallow V.s. Deep简单对比传统对deep learning认知既然大量的data加上参数足够多的model就可以实现这个效果,那为什么一定要用DNN呢?我们完全可以用一层的shallow neural network来做同样的事情,理论上只要这一层里neuron的数目足够多,有足够的参数,就可原创 2021-03-15 17:22:49 · 154 阅读 · 0 评论 -
李宏毅2020ML——tips for training DNN深度学习技巧
tips for training DNN本节综述:Recipe of Deep Learning确定问题在哪里不是所有不好都来自于overfitting不同方法去解决不同问题如何在Training data上得到更好的performance1. New activation function梯度消失的问题ReLUhandle Vanishing gradient problemMaxoutHow to train Maxout2.Adaptive Learning RateAdagardRMSPropMo原创 2021-03-15 12:33:12 · 246 阅读 · 0 评论 -
李宏毅2020ML——P17 CNN(Convolutional Neural network)
Convolutional Neural network引入CNN V.S. DNNWhy can we discard some parametersreason1:Some patterns are much smaller than the whole imagereason2:The same patterns appear in different regions.reason3:Subsampling the pixels will not change the objectThe whole原创 2021-03-12 20:50:12 · 240 阅读 · 0 评论 -
李宏毅2020ML——P12 Deep Learning深度学习概述
deep learningUps and downs of Deep Learningstep1:define function(Neural Network)Matrix OperationOutput Layerexamplestep2:Goodness of functionstep3:Pick the best functionUps and downs of Deep Learningstep1:define function(Neural Network)只不过我们用neural原创 2021-03-12 16:22:55 · 211 阅读 · 0 评论 -
李宏毅2020ML——P11 Logistic Regression(逻辑回归)
Review3 steps of machine learningStep1: function setStep2:Goodness of a function似然函数只需要将每一个点产生的概率相乘即可,注意,这里假定是二元分类,class 2的概率为1减去class 1的概率由于L ( w , b ) 是乘积项的形式,为了方便计算,我们将上式做个变换:这样式子进一步改写:如果是上面的例子就会是:(目的就是为了统一格式)现在已经有了统一的格式,我们就可以把要minimize的对原创 2021-03-12 14:29:21 · 241 阅读 · 0 评论 -
李宏毅2020ML机器学习——P10 Classification分类问题
参考:链接: https://blog.csdn.net/weixin_44406200/article/details/104272160?spm=1001.2014.3001.5501.原创 2021-03-11 11:25:12 · 164 阅读 · 0 评论 -
李宏毅2020ML——P8-P9 Optimization for Learning(最优化方法)
最优化方法SGDSGD with momentumAdagradRMSPropAdamNadamAdamW & SGDW with momentum总结SGD缺点:(正因为有这些缺点才让这么多大神发展出了后续的各种算法)选择合适的learning rate比较困难 - 对所有的参数更新使用同样的learningrate。对于稀疏数据或者特征,有时我们可能想更新快一些对于不经常出现的特征,对于常出现的特征更新慢一些,这时候SGD就不太能满足要求了SGD容易收敛到局部最优,并且在某些情况原创 2021-03-10 18:41:40 · 277 阅读 · 0 评论 -
李宏毅2020ML——P5-P7Gradient Decsent
参考:link.Review下图是将gradient descent在投影到二维坐标系中可视化的样子,图上的每一个点都是( θ 1 , θ 2 , l o s s ) (\theta_1,\theta_2,loss)(θ1 ,θ2 ,loss)在该平面的投影红色箭头是指在( θ 1 , θ 2 )这点的梯度,梯度方向即箭头方向(从低处指向高处),梯度大小即箭头长度(表示在θ i 点处最陡的那条切线的导数大小,该方向也是梯度上升最快的方向)蓝色曲线代表实际情况下参数θ1和θ2的更新过程图,每次更新转载 2021-03-09 20:58:50 · 125 阅读 · 0 评论 -
2020李宏毅ML学习——regression代码(gradient Descent))
import matplotlibimport matplotlib.pyplot as pltmatplotlib.use('Agg')import random as randomimport numpy as npimport csv# 假设x_data和y_data都有10笔,分别代表宝可梦进化前后的cp值x_data=[338.,333.,328.,207.,226.,25.,179.,60.,208.,606.]y_data=[640.,633.,619.,393.,428..原创 2021-03-09 11:30:49 · 146 阅读 · 0 评论 -
李宏毅2020ML\DL——P3 Regression
注:用神奇宝贝案例来研究regression问题引入:预测宝可梦升级之后的CP值input——进化前的宝可梦的一些属性值output——进化后的宝可梦的CP值图中f():表示我们要找的functionregression的具体过程STEP1:Model(function set)STEP2:Goodness of Function损失函数Loss function为了衡量function set中的某个function的好坏,我们需要一个评估函数,即Loss function,原创 2021-03-08 20:00:45 · 141 阅读 · 0 评论 -
1.李宏毅2020 ML\DL ——P1、P2 Introduction
IntroductionLearning MapSupervised Learning(监督学习)Regression(回归)Classification(分类)Binary Classification(二元分类)Multi-class classification(多元分类)model(function set) 选择模型Semi-supervised Learning(半监督学习)Transfer Learning(迁移学习)Unsupervised Learning(无监督学习)Structured转载 2021-03-08 16:38:52 · 158 阅读 · 0 评论