ML_12 Sum-Produkt Networks 和积网络

最新推荐文章于 2021-09-08 23:38:38 发布
最新推荐文章于 2021-09-08 23:38:38 发布
阅读量674 收藏 3
点赞数 1
分类专栏： 机器学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/w317672256/article/details/97622276
版权

他的特别指出：目标是概率的建模：
概率分布完整表达
边缘概率和模型更有效率的计算
边缘效率和模型更有效率的学习
对概率模型的要求：
更有效率的推理
理解性更强
->现在他只能有一定条件的满足
概率模型的种类
在这里插入图片描述
bayessches Netz
一定的相关性
推导NP（非确定性算法，需要把问题分解成猜测和验证两部分，同时多项式时间可以解决所以加了一个C）
Markov Netz是相关性
Sum-Produkt Netz他是计算的图标，是靠推断P（判断是否有一种能够解决某一类问题的能行算法的研究课题）

Definition

SPN是有向图有
不相关的概率分布变量像叶子一样，
和和积作为内部的节点
还有比重图
例子：
在这里插入图片描述
他们共同的概率就是三个变量的布尔变量
但是在bayesschen Netzwerk里他是时告诉影响关系，但是在SPN里他还会可以被计算

Netzwerkpolynom

SPN一他以网络多项式为基础
已知布尔随机变量Xi，他有两种状态
在这里插入图片描述
指示功能
整个网格的计算公式
在这里插入图片描述
例子伯努利分布的NP计算
在这里插入图片描述
在这里插入图片描述
Baynesschen Netze的对比
他可以用这个多项式弄一个概率表
NP也是SPN构件的基础，为了构建一个计算的网络
在这里插入图片描述
这个地方跟上面的Bayessche Netze不同之处就是概率这一块了
还有更复杂的例子
在这里插入图片描述

SPN的特性和合理性

在这里插入图片描述
当+点sc的孩子有相同的广度也就是2个的时候SPN是完整的
当×点sc的孩子有不相交的广度的时候SPN是连续的
SPN合理当vollständig und konsisten
SPN被称为合理的时候，也是他可以被表达为一个概率分布（也就是他可以被完整的计算出来）

Semantik in SPNs

一个合理的SPN编码了一个复杂的分布
+节点： 隐藏的变量，选择的可能（Mixtur）
×节点：因式分解在部分组成（不相关性）

Inferez in SPNs

可能的操作使SPN更有效的被计算
概率/似然
边缘概率/阀值分布
先验概率
最大概率解释
偏微分
采样
S可以通过前向传递计算
在这里插入图片描述
概率计算P(X1=1,X2=0)，S(Xind）/Z
在这里插入图片描述
以这个为前提计算
SXind结果为上图
Z的计算前提是
在这里插入图片描述

在这里插入图片描述
结果是这个
小提示：因为比重是被归一化了，所以Z一直都是1
当求P(X1=1)的时候，就是以这样为前提
在这里插入图片描述
在这里插入图片描述
解释：
他是全概率公式
Sxind通过两个前向传播叠加而成
在这里插入图片描述
MPE：
X1=1
在这里插入图片描述
向后传播：
她会选择最高数值的孩子会选择X2=0
在这里插入图片描述
根据概率判断，然后分别选择最对应的状态
在这里插入图片描述
这个就是un=0.81>0.7为前提距离
由于他是有效的SPN所以一定会选到明确的样本

Behandlung von diskreten und kontinuierlichen Variablen

变量的一般化时可能的
多值变量的离散
对于每一个可能只Vj一个指示器
扩展：吃寻变化的变量也是可能的
Suume-输入前加一个积分
最简单的方法：指示器加高斯
SPN定义一个深的高斯混合
在这里插入图片描述

Parameterlernen bei SPNs

已知：样本D，有效的SPN层
寻找：参数/比重
可能的学习共识：
迭代调整SPN的比重通过梯度下降法或者是EM
剪枝有小的比重的
进阶：
不同的公式（生成的，推理的）
计算梯度
更有效地执行梯度下降
梯度消失问题

Diskriminative SPNs(z.B. Klassifikation)

在这里插入图片描述

Backpropagation（BackpropSPN）

更新公式
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
上面是加法的更新公式，下面是乘法的
讨论：
理论上可行
乘法<1的话会使梯度很小，容易导致vanisching gradient

Vanisching gradient - Lösung für SPN

硬梯度下降
在这里插入图片描述
通过MAP近似选择最大的概率

w317672256
关注
  • 1
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
全连接网络和卷积网络实践
smilejiasmile的博客
06-24 921
全连接网络和卷积网络实践 一、全连接网络实践 1.1 基于 MNist 数据集的认识、优化、生成数据集、到实现特定场景应用。 1.1.1 mnist 数据集及需求模型要求 mnist 数据集：包含 7 万张黑底白字手写数字图片，其中 55000 张为训练集，5000 张为验证集，10000 张为测试集。每张图片大小为 28*28 像素，图片中纯黑色像素值为 0，纯白色像素值...
文献阅读 - Sum-Product Networks: A New Deep Architecture
Always On The Way
12-23 1100
Sum-Product Networks: A New Deep Architecture H. Poon, P. Domingos, Sum-Product Networks: A New Deep Architecture, ICCV (2011), Best Paper 摘要 图模型（graphical model）推理（inference）和学习（learning）的主要制约因素（ke...
深度学习基础--不同网络种类--和-积网络(sum—product network)
wydbyxr的博客
11-09 3210
和–积网络(sum—product network)   这种模型是基于和积运算的。   深度学习最主要的困难是配分函数的学习，如何选择深度结构神经网络的结构使得配分函数更容易计算。就此，Poon等人提出一种新的深度模型结构----和–积网络(sum—product network，SPN)，引入多层隐单元表示配分函数，使得配分函数更容易计算。 网络结构   SPN是有根节点的有向无环图，图中的叶...
【笔记】基于轻量和积网络及无人机遥感图像的大豆田杂草识别
YaoYee_21的博客
11-03 831
该文改进传统和积网络的学习过程，提出一种以小批量数据作为输入的轻量和积网络。在结构学习中，当积节点作用域内的变量个数小于一定阈值时，合并积节点为多元叶节点，否则将积节点重组为和积混合结构，并对边缘节点进行裁剪，有效降低了模型的参数量和复杂度。在参数学习中，提出贝叶斯矩匹配更新网络参数，使得模型对小样本的学习效率更高。最后结合 K 均值聚类算法应用于无人机图像中的杂草识别。
c语言实现多项式的求和与乘积
weixin_45149736的博客
11-05 4509
c语言实现多项式的求和与乘积 由于一些时间原因和个人英语水平有限，在这个代码里面并没有做申请空间是否成功的判断和启明有些LOW,不要介意，而且输入的多项式只能是指数非递增的，嘻嘻，直接进入正题： 本程序用的是C语言链表实现的多项式的求和与乘积计算。 结构体： typedef struct Node { int zs; int xs; struct Node* next; }...
test-appeals-produkt5
03-28
确保只有国防部和机器人可以观看频道： 该机器人还需要在此处发送消息和嵌入图像的权限。 在Discord的设置中，进入外观部分并启用开发人员模式。 您很快就会需要它。 点击此按钮： 在显示的网页中，登录到您的...
pdp:Produkt Design Projekt - 提交或没有发生
07-21
） add_veggie_frontend - 我们的网络服务和网络界面arduino_weight - 带有代码的 arduino .ino 项目来运行我们的蓝牙权重CameraTest - 是 QR 扫描仪项目的测试项目，将“很快”删除向强大的茶壶致敬！
数独：Produkt Sudoku na predmet ITU（TBITAužívateľskýchrozhraní，2BIT）
02-19
数独国际电联的概算（TBIT协议，2BIT）
MYSQL数据库中的多个错误-INSERT DATA和create table的问题，大多数代码在生成之前自动生成
04-04
通常最好是一次只出错一次。 您遇到的第一个错误是表创建失败，并显示121错误代码。如果您在Google中搜索“ mySQL 121错误”，则会发现它是“外键约束错误”...因此，很可能是以下问题导致：CONSTRAINT`produkt_id` ...
label-app
03-07
这是一个简单的React网络应用程序，可使用Produkt Lables为我们的CSA农场快速生成pdf。 要进行设置，您需要在服务器上使用docker和docker-compose。 默认情况下，此应用程序在端口3100上运行。它尚不能单独运行-您...
卷积神经网络和深度神经网络的区别是什么？
weixin_38278993的博客
11-28 2万+
作者：飘哥 链接：https://www.zhihu.com/question/29366638/answer/864113705 DNN是指深度神经网络，它是一个很广的概念，某种意义上CNN、RNN、GAN等都属于其范畴之内。DNN与CNN（卷积神经网络）的区别是DNN特指全连接的神经元结构，并不包含卷积单元或是时间上的关联。DNN是指包含多个隐层的神经网络，根据神经元的特点，可以分为ML...
（阅读）Deep Learning for Anomaly Detection: A Survey
aiyouyou_的博客
09-08 4664
参考 阅读一 阅读二 笔记 摘要 论文首先对基于深度学习的异常检测的研究方法进行了系统全面的概述。此外，还回顾了这些方法在不同应用领域中的应用，并评估了它们的有效性。 根据基本的假设和采用的方法，将最先进的深度异常检测研究技术分为不同的类别。在每个类别中，作者概述了基本的异常检测技术及其变体，并提出了区分正常和异常行为的关键假设。 对于每个类别，论文也提出了优点和限制，并讨论了在实际应用领域的技术的计算复杂度。最后，概述了在应用深度异常检测技术解决实际问题时，研究中存在的问题和面临的挑战。
SPN：通过空间传播网络学习关联
sinoai
01-07 1446
原文 摘要 本文提出通过空间传播网络学习关联矩阵用于视觉任务。 1引言 关联矩阵就是一个一般的矩阵，可以描述空间中两个点有多么近或者多么相似。在计算机视觉任务中，它是一个带权图，每个像素是一个结点，每两个像素间有一条边，参见论文1、论文2、论文3、论文4、论文5。权重应该针对不同的任务反映像素对间的相似性。比如对于图像滤波这样的低级任务，关联值应该反映颜色和纹理的低级相关性。中高级任务，如...
DEEP LEARNING FOR ANOMALY DETECTION: A SURVEY(翻译)
weixin_50556981的博客
01-05 3206
异常检测的深度学习研究综述 原文： arXiv:1901.03407 摘要 异常检测是一个重要的问题，在不同的研究领域和应用领域都得到了很好的研究。本文的研究目的有两个：首先，我们对基于深度学习的异常检测的研究方法进行了系统而全面的综述。此外，我们回顾了这些方法在不同应用领域中的应用，并评估了它们的有效性。我们根据所采用的基本假设和方法，将最先进的深度异常检测研究技术分为不同的类别。在每个类别中，我们概述了基本的异常检测技术及其变体，并提出了关键假设，以区分正常和异常行为。此外，对于每一个类别，我们也提出了
SPN:代换置换网络简述
I Hsien's BLOG
05-13 6500
基本技术:代换和置换 迭代密码方案 安全需求: 混乱性:密钥和明文密文间有复杂的依赖 扩散:单个密钥或明文的变化影响到更多的密文 迭代密码 使用密钥扩展算法将输入的一个密钥扩展为多个子密钥(Subkey) 每轮使用一个子密钥进行加密 上一轮的输入作为下一轮的输出,也就是自身迭代 代换置换网络 代换-置换网络是一系列被应用于分组密码中相关的数学运算，高级加密标准（英语：AES）、3...
卷积神经网络特征图可视化（自定义网络和VGG网络）
牧野的博客
07-27 7万+
  借助Keras和Opencv实现的神经网络中间层特征图的可视化功能，方便我们研究CNN这个黑盒子里到发生了什么。   自定义网络特征可视化   代码： # coding: utf-8 from keras.models import Model import cv2 import matplotlib.pyplot as plt from keras.models import...
全卷积网络FCN进行图像分割
10-22 8727
背景CNN能够对图片进行分类，可是怎么样才能识别图片中特定部分的物体，在2015年之前还是一个世界难题。神经网络大神Jonathan Long发表了《Fully Convolutional Networks for Semantic Segmentation》在图像语义分割挖了一个坑，于是无穷无尽的人往坑里面跳。全卷积网络 Fully Convolutional NetworksCNN 与 FCN通
卷积网络过程解析
weixin_46297209的博客
03-10 1952
卷积网络过程详解 一：卷积(Convolutional) ​ 实际项目中，输入神经网络的是具有更高分辨率的彩色图片，使得送入全连接网络的输入特征数过多，随着隐藏层层数的增加，网络规模过大，待优化参数过多，很容易使模型过拟合。为了减少待训练参数，我们再实际应用时，会先对原始图片进行特征提取，把提取来的特征送给全连接网络，让全连接网络输出识别结果。 ​ 卷积计算可认为是一种有效提取图像特征的方法。一般会用一个正方形的卷积核，按指定步长，在输入特征图上滑动，遍历输入特征图中的每个像素点。每一个步长，卷积核会与输入
吴恩达deeplearning之CNN—卷积神经网络入门
热门推荐
ice_actor的博客
11-28 16万+
1.边界检测示例假如你有一张如下的图像，你想让计算机搞清楚图像上有什么物体，你可以做的事情是检测图像的垂直边缘和水平边缘。 如下是一个6*6的灰度图像，构造一个3*3的矩阵，在卷积神经网络中通常称之为filter，对这个6*6的图像进行卷积运算，以左上角的-5计算为例 3∗1+0∗0+1∗−1+1∗1+5∗0+8∗−1+2∗1+7∗0+2∗−1=−53*1+0*0+1*-1+1*1+5*0+
【转载】技术向：一文读懂卷积神经网络
xceman1997的专栏
05-10 3516
原文地址：http://toutiao.com/a4033463198/?tt_from=sina&app=news_article&iid=2585754491&utm_medium=toutiao_android&utm_campain=client_share&utm_source=sinaweibo 自今年七月份以来，一直在实验室负责卷积神经网络（Convolutiona

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值