![](https://img-blog.csdnimg.cn/20201014180756928.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
深度学习
文章平均质量分 82
简单记录,深度学习的过程
遂古之初,谁传道之
曾任华为、百度高级工程师,从事AI芯片框架的底层算子优化,如果你有相关问题可以咨询。
展开
-
近似推断
生成模型中的推断 模型分为生成模型和判别模型,生成模型能够随机生成观测数据,同时对观测值XXX和标注值YYY进行概率建模,从而计算出P(X,Y)P(X,Y)P(X,Y),而判别模型只能建立从观测值XXX到标注值YYY之间的映射,从而计算出P(Y∣X)P(Y|X)P(Y∣X)。在深度学习的生成模型中,一般会把观测值xxx称为可见变量vvv,将标注值yyy称为不可见的隐变量hhh。 许多概率生成模型为了计算p(v,h)p(v,h)p(v,h),需要采用一些训练方法。对于采用极大似然的训练方法,此过程中必原创 2020-11-18 20:18:36 · 631 阅读 · 0 评论 -
torch读取数据
使用torchvision.datasets.ImageFolder来读取图片torchvision.datasets.ImageFolder(root="root folder path", [transform, target_transform])root : 指定图片存储的路径,在下面的例子中是’./data/dogcat_2’transform: 一个函数,原始图片作为输入,返回一个转换后的图片。target_transform - 一个函数,输入为target,输出对其的转换。例原创 2020-11-11 14:46:59 · 1379 阅读 · 2 评论 -
MTCNN+FaceNet人脸识别
人脸识别简介 人脸验证是验证一个人的图片是否对应到一个人的名字ID,如果把这个方法应用到人脸识别,如果验证一个人脸的错误率是1%,那么在100个人的数据库上进行识别,其总体错误率就会很高。所以,如果要在大型数据库上识别每个人,并且错误率比较低,那么人脸验证所需要的达到的精度需要很高才行,比如99.99%,这是比较困难的。 实现人脸验证的一个难点在于需要解决One-Shot一次学习问题,这意味着在数据库中,只需要提供一张照片,就能在任何场景下识别出这个人。而通常的深度学习分类方法,在只有一个训练样例时原创 2020-08-19 17:15:53 · 1093 阅读 · 0 评论 -
pytorch简单示例
中文文档简单三层全连接网络import torch # N is batch size; D_in is input dimension;# H is hidden dimension; D_out is output dimension.N, D_in, H, D_out = 64, 1000, 100, 10 # Create random Tensors to hold inputs and outputs.x = torch.randn(N, D_in)y = torch.ran原创 2020-07-02 13:58:19 · 2622 阅读 · 0 评论 -
GMM
许多概率模型有一系列可见变量vvv和一系列潜变量hhh,这时常常会涉及推断困难,就是指难以计算p(h∣v)p(h|v)p(h∣v)或其期望,而这样的操作在一些诸如最大似然学习的任务中往往是必需的。为此可以把精确推断问题描述为一个优化问题,借此推导出推断算法。为了构造这样一个优化问题,假设一个具有可见变量vvv和潜变量hhh的概率模型,按照最大似然估计,我们希望计算观察数据的对数概率log&nb...原创 2019-04-23 02:41:00 · 473 阅读 · 0 评论 -
深度学习装机总结
这里的硬件是i7 4790的CPU,技嘉B85-HD3主板,长城电源,AMD入门独显刀卡,英伟达矿卡GP106-100。win10系统 这里装双系统,矿卡的魔改驱动要求win10在1803版本以上,CPU在4代以上,所以这里装的是win10的1809版本+ubuntu18.04。用win10装机U盘,打开电源按F12进入启动引导选项,选择装机U盘按Enter确定,在装机系统左面选择磁盘分...原创 2019-01-10 06:08:32 · 1747 阅读 · 1 评论 -
PID神经网络控制
采用增量PID的神经网络的输入层有三个量x1(k)=e(k)=r(k)−y(k)x_1(k)=e(k)=r(k)-y(k)x1(k)=e(k)=r(k)−y(k)x2(k)=Δe(k)=e(k)−e(k−1)x_2(k)=\Delta e(k)=e(k)-e(k-1)x2(k)=Δe(k)=e(k)−e(k−1)x3(k)=Δ2e(k)=Δe(k)−Δe(k−1)=e(k)−2e(k...原创 2018-12-11 17:20:04 · 12819 阅读 · 14 评论 -
RBM受限玻尔兹曼机的公式推导及代码实现(matlab)
考虑一组具有mmm个样本的数据集X={x(1),…,x(m)}\mathbb{X}=\{x^{(1)},\dots,x^{(m)}\}X={x(1),…,x(m)},独立地由真实数据生成分布pdata(x)p_{data}(x)pdata(x)生成。令pmodel(x;θ)p_{model}(x;\theta)pmodel(x;θ)是一族由θ\thetaθ确定在相同空间上的概率分布,换言之...原创 2018-11-10 19:29:04 · 4312 阅读 · 4 评论 -
SOM(Kohonen)
自组织特征映射的主要目的是将任意维数的输入信号模式转变为一维或二维的离散映射,并且以拓扑有序的方式实现这个变换。呈现给网络的每个输入模式,通常包含面对平静背景的一个局部化活动区域或“点”,这个点的位置和性质通常随输入模式的实现不同而不同,因此网络中所有神经元赢经历输入模式的足够次数的不同实现,确保有机会完成恰当的自组织过程。 负责形成自组织映射的算法,第一步进行网络突触权值的初始化。这个工...转载 2018-11-08 18:23:51 · 3258 阅读 · 0 评论 -
Neural Relational Inference for Interacting Systems摘要
摘要 在自然中,互相作用的系统是非常普遍的,从物理中的动力学系统,到社会动力学系统,各组件之间的相互作用可以产生复杂的动态结果。作者描述了一种neural relational inference (NRI) 模型:一种从观察数据中学习动力过程时还能进行关系推断的无监督模型。这个模型采用一种自适应编码的形式,用潜编码表示图中的潜在关系,用GNN进行图的重建。在一个基于物理模拟系统的实验中,作...原创 2018-07-22 01:39:17 · 3221 阅读 · 0 评论 -
Hierarchical Graph Representation Learning with Differentiable Pooling摘要
图网络(GN)在深度学习短板即因果推理上拥有巨大潜力,很有可能成为机器学习领域的下一个增长点,而图神经网络(GNN)正属于图网络的子集。GNN近期在图形分类任务上得到了当前最佳的结果,但其存在平面化的局限,因而不能将图形分层表征。现实应用中,很多图形信息都是层级表征的,例如地图、概念图、流程图等,捕获层级信息将能更加完整高效地表征图形,应用价值很高。在本文中,来自斯坦福等大学的研究者通过在GN...原创 2018-07-22 14:00:13 · 5376 阅读 · 7 评论 -
Deep Image Prior摘要
DCNN已经成为图片生成及复原的流行工具,其出色的能力被认为是来自于能够从大量的实际图片数据中学习到一个很好的先验。而在本文中,作者表明仅仅是CNN所组成的生成网络结构,就已经能够很好的捕获图片的低级统计特征。一个随机初始化的网络可以作为一种手工设计的先验,并能很好的用于去噪、超分辨率、图片修复任务。 当然作者也从《Understanding deepearning requires r...原创 2018-07-16 19:20:27 · 2180 阅读 · 0 评论 -
Noise2Noise摘要
传统的神经网络去噪方法,一般以带有噪声的图片作为输入,清晰的图片作为输出,在这基础上训练神经网络以拟合两者之间的映射,从而实现去噪功能。样本对(x^i,yi)(x^i,yi)(\hat{x}_i,y_i)中,xixix_i作为带噪声的输入图片,yiyiy_i作为应当输出的清晰图片,然后最小化经验风险 argmin∑L(fθ(x^i),yi)(1)(1)argmin∑L(fθ(x^i),yi)...原创 2018-07-16 04:41:41 · 11206 阅读 · 16 评论