深度学习
Hαlcyon
这个作者很懒,什么都没留下…
展开
-
CS231n assignment1
2020版的斯坦福CS231n深度学习与计算机视觉的课程作业1,这里只是简单做了下代码实现,并没有完全按照作业要求来。1 k-Nearest Neighbor classifier使用KNN分类器分类Cifar-10数据集中的图片,这里使用Pytorch的张量广播和一些常用运算快速实现一下,并没有考虑效率。基本操作和numpy大同小异。from collections import Counterdef knn(X,y,X_unknown,k=1): # 3通道图像展平成1维向量原创 2020-08-05 21:52:16 · 297 阅读 · 0 评论 -
GAN快速入门(Pytorch based, 二维点集生成)
简介GAN的主要结构包括一个生成器G(Generator)和一个判别器D(Discriminator)。生成器接受一段从各向同性高斯分布中采样的噪声向量,输出我们的目标产物。判别器负责给这个产物打分,判断它像不像真实的物体。我们的训练方法就是,让判别器尽可能地分辨真假,也就是以真实物体标签为1,虚假的产物标签为0,训练判别器。与此同时,让生成器的参数学会欺骗判别器,也就是虚假的产物标签为1,训练生成器。一般来说,为了让生成器的训练更高效,我们会先更新k次判别器的参数,再去训练一次生成器,这样生成器将能原创 2020-08-04 13:02:45 · 2697 阅读 · 3 评论 -
CNN搭建端到端的验证码识别系统
卷积神经网络验证码识别深度学习大行其道的一个重要原因,是算力的提升,技术的进步允许我们每个人都自由地使用个人PC训练强大的神经网络。神经网络的强大能力有效地辅助了我们开发各类新式软件,举个例子,原本的一整套语音识别系统,需要一个pipeline的多种算法协同工作才能发挥作用。我们要先预处理语音,过滤噪声和背景;然后把语音分割成一个一个音节;然后使用HMM等模型识别语音。而如果使用深度学习的方法,我们只需要把语音信号丢入一个LSTM,使用端到端的训练方法,就能得到一个效果更好的语音识别系统。这种端到端的设原创 2020-07-20 16:36:15 · 759 阅读 · 0 评论 -
Deep Reinforcement Learning超简单入门项目 Pytorch实现接水果游戏AI
学习过传统的监督和无监督学习方法后,我们现在已经可以自行开发机器学习系统来解决一些实际问题了。我们能实现一些事件的预测,一些模式的分类,还有数据的聚类等项目。但是这些好像和我们心目中的人工智能仍有差距,我们可能会认为,人工智能是能理解人类语言,模仿人类行为,并做到人类难以完成的工作的机器。所谓KNN、决策树分类器,好像只是代替人类进行一些简单的工作。但今天,我们似乎在强化学习的领域找到了通往真正...原创 2020-05-02 13:57:44 · 2631 阅读 · 1 评论 -
Elastic Weight Consolidation(EWC) for Life long Learning
Life Long learning连续学习的概念大概是在2016年以后才开始流行的,虽然今天的工业界中几乎都是使用一个或多个模型对应一个任务,但是为了让机器更像人,让机器能同时解决多个任务,同时把过去的知识运用到新的任务上,也是值得研究的课题。方法Regularization-based methodsParameter isolation methods我们要实践的就是这种非常...原创 2020-04-11 23:11:56 · 7631 阅读 · 23 评论 -
Meta Learning技术 MAML
Learning to learn——Meta learningMeta Learning 最常被用来解决少样本(Few-Shot)的问题,在这边我们介绍一篇经典的论文 Model-Agnostic Meta-Learning(MAML)。由题目可知他是一种「与模型无关的」元学习,亦即这种方法可以匹配任何使用梯度下降算法(Gradient Descent)训练的模型,并能应用于各种不同的学习...原创 2020-04-10 01:41:03 · 612 阅读 · 0 评论 -
基于DANN的图像分类任务迁移学习
注:本博客的数据和任务来自NTU-ML2020作业,Kaggle网址为Kaggle.数据预处理我们要进行迁移学习的对象是10000张32x32x3的有标签正常照片,共有10类,和另外100000张人类画的手绘图,28x28x1黑白照片,类别也是10类但无标签。我们希望做到,让模型从有标签的原始分布数据中学到的知识能应用于无标签的,相似但与原始分布不相同的目标分布中,并提高黑白手绘图的正确率。...原创 2020-04-08 23:56:46 · 6846 阅读 · 10 评论 -
FGSM攻击机器学习模型
FGSM技术对抗攻击技术,因为网络的深层,很少的改变就有可能改变网络中激活函数的方向,进而直接大量改变输出。因此,从模型中得到特殊的输入X就能让模型产生严重的误判,这种就是神经网络攻击技术。我们希望得到和原输入类似的输入,但是与此同时尽可能让输出发生尽可能大的改变。这个优化问题写成把训练时的loss function加负号,再加正则项的无约束优化。迭代就可以得到X写成算法就是Fast Gra...原创 2020-04-05 01:22:27 · 2303 阅读 · 4 评论 -
受限玻尔兹曼机RBM简述与Python实现
生成式模型生成式模型的理念大同小异,几乎都是用一个模型产生概率分布来拟合原始的数据分布情况,计算两个概率分布的差异使用KL散度,优化概率模型的方法是最小化对数似然,可以用EM算法或梯度优化算法。今天表现比较好的生成模型有VAE变分自编码器,GAN生成对抗网络和PixelRNN以及Seq2Seq等。而RBM则比它们要早很多,可以说是祖师爷级别的模型。受限玻尔兹曼机RBM模型是一种很早被提出...原创 2020-04-01 13:27:59 · 3837 阅读 · 3 评论