![](https://img-blog.csdnimg.cn/20200305170341106.jpg?x-oss-process=image/resize,m_fixed,h_224,w_224)
李宏毅ML+DL
文章平均质量分 55
李宏毅机器学习+深度学习记录
缦旋律
沉迷磕CP并努力敲代码的小陈
展开
-
CNN unpooling和deconvolution
我们知道,在auto_encoder中,有encode和decode两个部分,其中encode是将input变成code,一般是从高维变到低维,decode解码code,要使解码之后的output与input越接近越好,也就是从低维变高维。如果用CNN来做auto_encoder,那么convoluti...原创 2020-04-15 11:07:46 · 217 阅读 · 0 评论 -
meta learning
差不多要一个月没有看李老师的视频了,昨天终于又点开了收藏夹里的视频,OK,开始吧~一.概述1.什么是meta learning像上图蓝色笔圈起来说的,当准备用一个神经网络解决一个任务时,神经网络的架构(比如是CNN还是RNN,是VGG还是resnet)、初始值的设定、参数更新方式(比如是SGD还是Adam)都是我们自己决定的,meta learning的目的就是学习一个F,这个F能针对不同...原创 2020-04-07 18:01:05 · 452 阅读 · 0 评论 -
李宏毅ML+DL学习记录:seq to seq
一.RNN review:详细版本请戳↓https://blog.csdn.net/weixin_41391619/article/details/104589923二. sequence generation(bos = begin of sentence;eos = end of sentence)f代表naive RNN 或LSTM 或GRU假设我们想让它generate出“床...原创 2020-03-11 11:35:37 · 436 阅读 · 0 评论 -
李宏毅ML+DL学习记录:life long learning
LLL模型,EWC\GEM\generating data,以及模型效果评价(backward and forward)原创 2020-03-08 21:09:09 · 378 阅读 · 0 评论 -
李宏毅ML+DL学习记录:transfer learning
https://www.cnblogs.com/xxlad/p/11412337.html原创 2020-03-07 20:53:16 · 115 阅读 · 0 评论 -
李宏毅ML+DL学习记录:ensemble
1.bagging构成bagging的model是比较complex的,即比较容易overfit它的思想是:一共有N个样本,做有放回抽样,抽出N个样本,如此重复几次,形成多组样本数同样为N的样本组。然后分别用这几组样本训练出多个分类器,然后把多个分类器的结果做平均(or voting)得到最终的结果。ps:一般来说,在训练多个分类器的时候,属性也是随机抽取的。比如一共有20个属性,训练每个分...原创 2020-03-07 20:50:18 · 133 阅读 · 0 评论 -
李宏毅ML+DL学习记录:explainable ML
explainable ML 主要是用来告诉你NN为什么会给出这样的结果,可分为两种: ①.local explanation:why does the NN think this image is a cat? ②.global exp...原创 2020-02-29 21:14:23 · 323 阅读 · 0 评论 -
李宏毅ML+DL学习记录:attack ML model
从attack和defense两方面进行记录,但是主要是attack一.attack1.目标:找到x’ 假设我们已经训练好了一个猫分类器(要么是猫,要么不是猫),如果将一张猫的照片(即下图中的original image,设为x0)放到这个分类器中,它基本上会已很大的概率判断出这是一只猫(我们假设这个分类器的效果是比较好的)。 ...原创 2020-02-27 11:44:49 · 439 阅读 · 0 评论 -
李宏毅ML+DL学习记录:tips for training DNN
主要分成两块来讲:结果在训练集上不好 and 结果在测试集上不好一.结果在训练集上不好:由上图可以看出,当结果在训练集上的效果不好时,我们主要有两种方式:1.采用adaptive learning rate(即不把lr固定成一个常数),比如adagrad2.使用新的激活函数1.adaptive lr1)adagrad:2)RMSProp(adagrad的进阶):所以可以看出...原创 2020-02-24 17:33:15 · 239 阅读 · 0 评论 -
李宏毅ML+DL学习记录:Keras初始用
step1:搭建neural network的框架dense就是代表全连接activation表示激活函数step2: goodness of functionloss就是损失函数step3: pick the best functionoptimizer就是选择的优化方式(gradient descent 之类的)batch_size:放在一个batch里面的样本数量(比如b...原创 2020-02-23 20:41:28 · 126 阅读 · 0 评论 -
李宏毅ML+DL学习记录:BP
我们要根据loss function(设为L)来更新各参数wi,那么就要算L对wi的偏微分,如果正向算会很复杂,我们采用BP思想。(PS:在计算L对Z5的偏微分的时候,L对Z7、Z8的偏微分是已知的;同理,计算L对Z3的偏微分时,L对Z5、Z6的偏微分是已知的。)...原创 2020-02-22 22:14:59 · 163 阅读 · 0 评论 -
李宏毅ML+DL学习记录:逻辑回归
逻辑回归的整体步骤:step1 :function set(即model)step2: goodness of function:即评判function好坏的标准(也就是这组w,b好坏的标准)就是这组参数能否使似然函数最大。用y_hat表示类别:把原始问题转化成对偶问题:(ps: (1-f(x3))的原因是x3对应的类别是C2)那么我们的评判标准就转化成:使这个交叉熵越小...原创 2020-02-22 20:57:24 · 170 阅读 · 0 评论 -
李宏毅ML+DL学习记录:RNN
引例:在买车票时,我们希望有一个网络,当我们说出“I would like to arrive at Taipei on November 2nd”时,它能判断出我们的目的地是Taipei,希望到达的时间是November 2nd.我们把这称之为slot filling,这里的两个slot就是destination 和time of arrival。其实这个问题用一般的神经网络也能判断出Taipe...原创 2020-03-01 19:37:57 · 337 阅读 · 0 评论