深度概率模型训练Fashion-Mnist的一次尝试

最新推荐文章于 2024-06-21 17:15:00 发布
最新推荐文章于 2024-06-21 17:15:00 发布
阅读量236 收藏
点赞数
原文链接：https://bbs.huaweicloud.com/forum/thread-85104-1-1.html
版权

转载地址：https://bbs.huaweicloud.com/forum/thread-85104-1-1.html

作者： 芳菲菲兮满堂

Mindspore提供了概率编程模型，作为个人认为能够推进深度学习可解释性的方向，那么肯定需要先体验一下，先以bnn为起点，talk is cheap, show me the code ，把device_target由昇腾改成GPU，这里当初遇到个问题，因为Windows的mindspore没有gpu版，我想当然滴改成了cpu，后来遇到各种问题（权限啊 训练输入尺寸啊），断断续续弄了两天，后来发帖一问，小姐姐提示文档标签上木有CPU，表示不支持CPU进行训练，这里再次感慨仔细看文档的重要性 文档的重要性 文档的重要性 社区回复的也及时（总是听大神们说社区 社区 现在体验到了社区的好处） 果断放弃了Windows环境 开启我的Ubuntu系统 开启了环境无忧无虑的征程

image.png

本次采用的数据集是Fashion-Mnist，后面个人建议还是用这个数据集作为AI的Hello world程序，mnist已经被玩坏了，在mindspore/tests/st/probability路径下找到相应的代码 （Ps 不知道为什么代码要组织在系统测试的路径下）这里有个问题，在该路径下运行代码，导包的时候会导入代码中的模块，会导致运行失败，所以将probability拷贝的任意路径，更改训练集路径，开始训练

image.png

开始训练，如同其他模型一样的输出，上面的warning是我想进行一下可视化调试而增加summary 回调， 目前还没搞明白这个图片和张量怎么样能够纳入的可视化追踪中，等搞明白后写个续集，就酱 江湖债见     留下邮箱  zcl8891@yeah.net

image.png

skytier
关注
深度学习--概率图模型（一）
decan5958的博客
08-03 1万+
这份资料看了好几遍了，终于有点知识框架了，总结一下，方便以后查看。 一、概率图模型（PGM）引入：    在实际应用中，变量之间往往存在很多的独立性假设或近似独立，随机变量与随机变量之间存在极少数的关联。PGM根据变量之间的独立性假设，为我们提供了解决这类问题的机制，PGM是以概率论以及图论为基础，通过图的结构将概率模型可视化，让我们能够了解到复杂分布中的变量之间的关系，也把概率上的复杂计算过
深度学习中的结构化概率模型
渐渐遗忘的记忆
05-24 1434
深度学习中的结构化概率模型 结构化概率模型也称为图模型。 一，非结构化建模的挑战 概率模型可以完成很多任务，例如： 估计密度函数 去噪 缺失值的填补 采样 对上千甚至上百万的随机变量的分布建模，无论从计算上还是统计意义上来说，都是一个极具挑战性的任务。 非结构化建模的主要挑战在于参数的数量是巨大的，这会导致： 内存：存储参数的开销太大。 统计的高效性：容易过拟合，因为数据量不够，所以需要一些...
时装连连看，基于MindSpore实现FashionMNIST图像分类
Kenji_Shinji的博客
06-14 848
1. 数据准备1.1 数据简介Fashion-MNIST是一个替代MNIST手写数字集的图像数据集，它由Zalando（一家德国的时尚科技公司）旗下的研究部门提供，涵盖了来自10种类别的共7万个不同商品的正面图片。Fashion-MNIST的大小、格式和训练集/测试集划分与原始的MNIST完全一致——60000/10000的训练测试数据划分，28x28的灰度图片。你可以直接用它来测试你的机器学习和深度学习算法性能，且不需要改动任何的代码。这个数据集的样子大致如下（每个类别占三行）：1.2 下载数据数据官方仓
MindSpore深度概率推断算法与概率模型
Kenji_Shinji的博客
09-02 399
这样做有什么好处呢？根据上文的介绍，首先，我们需要先自定义encoder和decoder，调用mindspore.nn.probability.dpn.VAE接口来构建VAE网络，我们除了传入encoder和decoder之外，还需要传入encoder输出变量的维度hidden size，以及VAE网络存储潜在变量的维度latent size，一般latent size会小于hidden size。简单来说，为了求解p，但求解起来复杂，寻找容易求解的q，使得p和q尽可能接近，这个接近可以用KL散度来衡量。
跟着MindSpore一起学习深度概率
Kenji_Shinji的博客
09-02 885
除了支持模型级别的转换，还支持层级的转换。业界主流的框架主要为基于TensorFlow的TFP和基于PyTorch的Pyro，但这两个框架都存在着对深度学习用户不友好的问题，如下图所示，其API的设计比较专业化，编程逻辑也与我们熟悉的深度学习编程逻辑差异比较大，更适用于专业的概率学习人员。我们知道，深度学习模型具有强大的拟合能力，而贝叶斯理论具有很好的可解释能力，将两者结合，通过设置网络权重为分布、引入隐空间分布等，可以对分布进行采样前向传播，由此引入了不确定性，因此，增强了模型的鲁棒性和可解释性。
深度学习softmax多分类数据集fashion-mnist.rar
04-23
fashion-mnist是一个广泛使用的数据集，它是对经典mnist数据集的升级版，专门用于训练和评估深度学习模型。mnist数据集主要包含手写数字图像，而fashion-mnist则包含了10个类别的衣物图像，如T恤、连衣裙、运动鞋等...
softmax回归模型对Fashion-MNIST训练集中的图像数据进行分类
weixin_41169182的博客
02-14 650
softmax函数的引入 在多分类神经网络中直接使用输出层的输出有两个问题： 1. 一方面，由于输出层的输出值的范围不确定，我们难以直观上判断这些值的意义。例如，刚才举的例子中的输出值10表示“很置信”图像类别为猫，因为该输出值是其他两类的输出值的100倍。但如果o1=o3=103o_1=o_3=10^3o1​=o3​=103，那么输出值10却又表示图像类别为猫的概率很低。 2. 另一方面，由于真...
Generate-Images-with-a-Variational-Autoencoder-VAE-:使用Keras和fashion-MNIST数据集通过VAE生成图像。 Paperspace Gradient的ML Showcase项目
04-23
**可变自动编码器（Variational Autoencoder, VAE）是一种深度学习模型，它结合了自动编码器（Autoencoder）的无监督学习能力和概率建模的理论，用于生成新的、类似训练数据的图像。在本项目中，我们将利用Keras库在...
经典图像分类数据集Fashion-MNIST-datasets
01-18
总而言之，Fashion-MNIST数据集是深度学习和图像分类领域的宝贵资源，它提供了学习和实践CNN模型的机会，同时也为研究人员提供了一个挑战性的基准，以测试和改进新的算法和模型。通过使用这个数据集，开发者和研究者...
训练数据集：fashion-mnist.rar
08-16
时尚MNIST（Fashion-MNIST）是一个广泛使用的机器学习和深度学习领域的基准数据集，它由Zalando公司发布，旨在替代传统的MNIST手写数字数据集。MNIST数据集因其简单性和直观性而闻名，但随着深度学习技术的发展，其...
Fashion-MNIST:使用Tensorflow keras库中的Fashion MNIST数据集进行简单的时尚配饰模型预测
04-01
时尚MNIST 简单的时尚配饰使用Tensorflow keras库中的Fashion MNIST数据集对预测进行建模。 安装和使用。 该项目使用pipenv进行依赖项管理。 您需要确保在系统上安装了pipenv 。 这是安装依赖项并开始使用的方法。 使用pipenv sync -d安装它 完成后，生成一个shell来运行文件： pipenv shell 完成后，您可以运行任何文件，并进行测试。 添加您自己的图像。 有时，要尝试对新图像进行predictions.py并使用predictions.py测试，则需要添加它们。 这是操作方法。 将图像添加到images文件夹中。 如果要测试它们，请转至src/predictions.py ，然后将其替换为您的图像名称。 看起来像这样： np.array([get_image("...") 。 由Sunrit Jana制造，<3
【机器学习】深度概率模型(DPM)原理和文本分类实践
最新发布
MUKAMO的博客
06-21 1164
# 9. 总结与展望 本文全面探讨了深度概率模型（DPMs），涵盖其理论基础、模型构建、参数估计、决策规则及实践应用。DPMs结合深度学习与概率论，在不确定性建模和数据生成方面展现优势。未来，DPMs将向提高泛化能力、计算效率、多模态学习、强化学习集成等方向发展，同时强调可解释性、跨领域应用和伦理隐私。读者可全面理解DPMs并应用于实际问题，期待技术带来更多创新突破。
深度学习4.1——分类：概率生成模型
weixin_63194616的博客
10-07 267
以二分类为例子，在训练数据时分为类别1和类别2，其中类别1的目标为1，类别2的目标为-1，因此当我们开始测试数据时，越接近1的数据就将其分在类别1中，越接近-1的数据就将其分在类别2中。但如果某些点远大于1，那么它们就会偏离，这时候用回归来处理的话，这些值就是错误值了，这个时候为了减少错误，用回归处理得到的直线是紫色的，但这并不是我们所希望的。由于我们只考虑了小球的两个特征值，所以最后分类的准确率并不是很高，但如果考虑多个特征的话，比如六个、七个、八个等，这样就可以提高分类的准确率。
在Google的TPU上训练Fashion MNIST图像识别模型
VictorZhang
05-15 936
作者 | 张强 今天我们要训练的模型是基于Keras框架，来训练FashionMNIST图像识别模型，该模型和MNIST是一样的分类数量。 MNIST的分类是0到9的十个数字 FashionMNIST的分类是这十个分类：'t_shirt', 'trouser', 'pullover', 'dress', 'coat', 'sandal', 'shirt', 'sneaker', 'bag', '...
机器学习与深度学习系列连载： 第一部分 机器学习（五） 生成概率模型（Generative Model）
热门推荐
Doctor Wu的博客
09-14 1万+
生成概率模型（Generative Model） 我们还是从分类问题说起： 当我们把问题问题看做是一个回归问题， 分类是class 1 的时候结果是1 分类为class 2的时候结果是-1； 测试的时候，结果接近1的是class1 ，结果接近-1的是class2 问题解决了！ 但是这只是看起来很美，但是如果结果远远大于1的时候，他的分类应该是class1还是class2，我们为了...
《神经网络与深度学习》-概率图模型
Passenger_zhang的博客
08-14 2163
概率图模型1. 模型的表示1.1 有向图模型1.2 常见的有向图模型1.3 无向图模型1.4 无向图模型的概率分解1.5 常见的无向图模型1.5 有向图和无向图之间的转换2. 学习2.1 不含隐变量的参数估计2.2 含隐变量的参数估计3. 推断3.1 精确推断3.2 近似推断4. 变分推断5. 基于采样法的近似推断5.1 采样法5.2 拒绝采样5.3 重要性采样5.4 马尔科夫链蒙特卡罗方法    1. 模型的表示    1.1 有向图模型    1.2 常见的有向图模型    1.3 无向图模型    1
机器学习中概率图模型的一些知识
zycnice的博客
07-18 249
机器学习最重要的任务，是根据一些己观察到的证据(例如训练样本)来 对感兴趣的未知变量(例如类别标记)进行估计和推测。概率模型(probabilistic model)提供了一种描述框架?将学习任务归结于计算变量的概率分布. 直接利用概率求和规则消去变量 显然不可行，因为即便每个变量仅有两 种取值的简单问题，其复杂度己至少是 0(2IYI+IRI) 另一方面，属性变暨之间往 往存在复杂的联系，因此概率模型的学习，即基于训练样本来估计变量分布的 参数往往相当困难.为了便于研究高效的推断和学习算法，需有一套能简
mnist_train = torchvision.datasets.FashionMNIST，Fashion-MNIST库下载速度太慢
MOZHOUH的博客
07-26 1565
学习李沐的动手学深度学习，导入Fashion-MNIST库的时候出现下载速度过慢的问题
ResNet18识别FashionMNIST数据集
Hu_Linson的博客
12-16 824
1导入常用的包 import time import torch import torchvision.transforms as transforms import torch.nn as nn import torchvision import torch.nn.functional as F 2导入并处理数据 device =torch.device('cuda') data_tansform={ 'train': transforms.Compose([
本地化李沐大神教程的Fashion-MNIST数据压缩包
资源摘要信息:"torchvision.zip是一个压缩包文件，其解压后包含适用于本地化李沐大神d2l（深度学习课程）或其他教程的Fashion-MNIST数据集。Fashion-MNIST数据集是一个替代经典的MNIST数据集的图像识别数据集，包含...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值