![](https://img-blog.csdnimg.cn/8c4b5bf8054d4b02bf01d209dbf9840b.jpg?x-oss-process=image/resize,m_fixed,h_224,w_224)
深度学习
文章平均质量分 71
DL相关内容
小刘鸭!
就读专业:载运工具运用工程
研究方向:高速列车关键零部件故障诊断与状态监测 PHM
主要研究深度学习相关,卷积神经网络+对抗神经网络等在故障诊断方面的应用,目前已发表半监督异常检测论文一篇SCI(JCR Q1) IF=6.058 以及疫情背景下的物流货运大数据分析论文一篇SCI JCR Q2 IF=3.714
展开
-
ProGAN代码实现细节(二)
ProGAN的详细代码介绍原创 2022-10-22 17:03:57 · 1777 阅读 · 0 评论 -
ProGAN 论文精读 (一)
核心要点使用渐进的方式来训练生成器和判别器:先从生成低分辨率图像开始,然后不断增加模型层数来提升生成图像的细节这个方法能加速模型训练并大幅提升训练稳定性,生成前所未有的的高质量图像(1024*1024)提出了一种简单的方法来增加生成图像的多样性介绍了几种限制生成器和判别器之间不健康竞争的技巧提出了一种评价GAN生成效果的新方法,包括对生成质量和多样性的衡量构建了一个CELEBA数据集的高清版本。原创 2022-10-20 17:27:10 · 1982 阅读 · 0 评论 -
2022年ICT软件技术大会·武汉站——架构建模&海量计算专场
2022年ICT软件技术大会·武汉站——架构建模&海量计算专场原创 2022-07-23 14:13:01 · 714 阅读 · 0 评论 -
深度学习-语音处理-语音分离入门学习(Speech separation)
原创 2022-02-27 09:52:20 · 2722 阅读 · 5 评论 -
阿里天池供应链需求预测比赛小结
阿里天池供应链需求预测比赛小结一、赛题的思路回顾1.1赛题描述使用历史平均来预测未来的需求使用测试集真实数据进行过拟合的结果名词定义库存水位在仓库存数量,用来满足需求。补货时长(交货时间,lead_time)从下达补货指令到货物到仓可用的时长。本赛题初赛时的补货时长为14天,即假设1号A货物的库存水位为0,此时下达A货物补货指令,补货量为10,则1号至14号A货物的库存水位均为0,15号时A货物的库存水位为10。补货在途下达补货指令后还未到仓的货物量总和。上例中1号至1原创 2021-12-12 12:03:51 · 3156 阅读 · 18 评论 -
实践教程 | Pytorch 模型的保存与迁移
实践教程 | Pytorch 模型的保存与迁移在本篇文章中,笔者首先介绍了模型复用的几种典型场景;然后介绍了如何查看Pytorch模型中的相关参数信息;接着介绍了如何载入模型、如何进行追加训练以及进行模型的迁移学习等。1 引言各位朋友大家好,欢迎来到月来客栈。今天要和大家介绍的内容是如何在Pytorch框架中对模型进行保存和载入、以及模型的迁移和再训练。一般来说,最常见的场景就是模型完成训练后的推断过程。一个网络模型在完成训练后通常都需要对新样本进行预测,此时就只需要构建模型的前向传播过程,然后载入已原创 2021-10-09 15:11:32 · 742 阅读 · 2 评论 -
2021年深度学习哪些方向比较新颖,处于上升期或者朝阳阶段,比较有研究潜力?
可解释性:feature-based研究的很多了,instance-based个人感觉在上升期,从研究的角度来说缺乏benchmark/axiom/sanity check. 主流方法是influence function, 我觉得这里面self influence的概念非常有趣,应该很值得研究。当然,更意思的方向是跳出influence function本身,比如像relatIF 加一些regularization,也是水文章的一贯套路(relatIF是好文章)。Influence function f转载 2021-09-29 09:17:54 · 283 阅读 · 0 评论 -
从零开始拿到了Kaggle竞赛冠军--学习笔记(不是本人)
本文转载自:机器之心因为对数学感兴趣,勇敢的少年决定投身 Kaggle。知乎上有这样一个问题已经收到了超过 700 条回答。在这之下有人冷嘲热讽,有人给出了鼓励和建议。从人们回答的时间来看,问题的发起应该是在 2017 年,14 岁的少年如今也到了上大学的年龄。不知他 or 她是否还能坚持自己的兴趣和理想?正如很多人所说的,如何让自己的兴趣转化为事业要看自己的努力。最近在机器学习圈里,就有一个 14 岁靠一己之力成为著名数据竞赛平台的冠军。他叫Andy Wang,是一名来自美国华盛顿州 Re转载 2021-09-10 19:33:28 · 849 阅读 · 0 评论 -
2021高通人工智能应用创新大赛--创新赛道-决赛阶段小结
20212021高通人工智能应用创新大赛–创新赛道-决赛阶段小结一、APP开发应用的问题目前开发的基于高通SNPE技术的安卓APP,功能部分尚且只能实现封装好的图片进行识别,距离拍照和调用相册进行识别的功能还有很多问题没有解决;通过对比其他队伍的开发团队我们不论在应用开发的专业性还是模型训练的经验积累上都远远不足:开发的框架目前采用的是android studio的源生框架,而其他队伍中使用Flutter开发移动应用将具备更多优势:未来希望结合现有的技术和场景开发落地应用,增加回收系统的功能原创 2021-09-01 11:42:20 · 396 阅读 · 4 评论 -
GT决赛第二次讨论会议
GT决赛第二次讨论会议一、目前已有工作开展情况Android开发进展垃圾识别功能部分:已经完成了模型量化pkl->onnx->dlc->quantized dlc,具体流程跟初赛大致相同,额外需要部署snpe环境;详细过程参见Qualcomm高通AI神经网络处理SDK部署流程;AI-tools使用测试过程(罗乾),确认我们的量化模型无误;根据高通的snpe中的示例app进行了调试,更换了我们的模型和预处理好的图片测试数据集(初赛100张测试图片);具体参见视原创 2021-08-01 19:29:17 · 331 阅读 · 0 评论 -
SNPE安装+Qualcomm高通AI神经网络处理SDK部署流程
Qualcomm高通AI神经网络处理SDK部署流程系统要求我们建议在专用机器上执行以下操作,以更好地了解 SDK 依赖关系:安装 Ubuntu 18.04 (推荐),例如在虚拟机上。安装pyenv执行以下命令进行自动安装curl -L https://github.com/pyenv/pyenv-installer/raw/master/bin/pyenv-installer | bash重启shell生效: exec $SHELL查看~/.bashrc中是否有以下三行,若没有则手原创 2021-07-29 15:31:28 · 6298 阅读 · 1 评论 -
如何断开GitLab远程仓库链接
关于如何在极市平台断开与其自有的GitLab远程仓库链接,再将代码Push到码云上面的流程一、首先查看现有的链接git remove -v可以看到如下提示:[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-RDibsvdU-1621562918565)(C:\Users\Administrator\AppData\Roaming\Typora\typora-user-images\image-20210512171051901.png)]如果出现下属问题解决方案re原创 2021-05-21 10:09:06 · 1207 阅读 · 0 评论 -
2021高通人工智能创新大赛垃圾分类赛题总结
2021高通人工智能创新大赛垃圾分类赛题总结一、关于最终比赛结果非常遗憾这次比赛在垃圾分类赛题上只取得了第十名的成绩,只有前五名能够晋级决赛,所以目前来看也是暂时告一段落了。准确率上差距属实有些大,第一名86%左右而我们只取得了62%的准确率有些拉跨;下面会详细分析下问题所在。二、最后时间短的调参与失误主要任务关注点:数据增强针对类不均衡、算法模型调整(efficientnetb0-b1/ resnet50)、主要超参调整 batchsize、epoch、优化器的选择optimizer+学习率衰原创 2021-05-21 10:05:52 · 1304 阅读 · 4 评论 -
2021高通人工智能创新大赛垃圾分类赛题第五次研讨会
GT第五次研讨会一、几点注意事项:自动测试(OLD)为了能得到全面公正的竞赛/项目结果,平台通过获取训练得到的模型,以及运行开发者的测试代码进行结果的输出,最后根据输出结果计算评价指标的值,对所有开发者的算法进行排名。再次进入在线编码,在/project/ev_sdk路径下,编写测试代码,即根据比赛/项目的规定,规范化测试代码的输入输出。EV_SDK是由本公司自研的用于自动测试和后续模型落地的标准模型接口。为了简化竞赛开发者的开发工作,用于比赛自动测试的SDK经过了简化,并且可以选择C++或者py原创 2021-05-21 10:04:06 · 538 阅读 · 3 评论 -
2021高通人工智能应用创新大赛踩坑指南
在训练模型时会在前面加上:model.train()在测试模型时在前面使用:model.eval()同时发现,如果不写这两个程序也可以运行,这是因为这两个方法是针对在网络训练和测试时采用不同方式的情况,比如Batch Normalization 和Dropout。使用PyTorch进行训练和测试时一定注意要把实例化的model指定train/eval,eval()时,框架会自动把BN和DropOut固定住,不会取平均,而是用训练好的值,不然的话,一旦test的batch_size过小,很容易就原创 2021-05-09 14:22:31 · 242 阅读 · 0 评论 -
Deep-Clustering-for-Unsupervised-Learning-of-Visual-Features
Deep-Clustering-for-Unsupervised-Learning-of-Visual-Features一、核心观点核心: 通过cluster方式学习一个特征提取器,来初始化需要进行分类预测的网络的特征提取器原因: 待求解的任务中数据的标签在某些类别中缺失或者非常的少二、文章发表时间及团队文章于2019由Facebook AI Research实验室完成三、文章开展的主要工作:聚类(Cluster) 是一种经典的无监督学习方法,但是鲜有工作将其与深度学习结合。这篇文转载 2021-05-06 10:15:48 · 534 阅读 · 0 评论 -
2021高通AI应用创新大赛-创新赛道-垃圾分类识别 第三次会议研讨
GT 第三次会议研讨一、较为详细的流程教程:极市平台2020教程‘debug平台训练及模型转换代码示例关于模型训练测试等过程积分消耗我们跑一个epoch 一共有220个iteration (batchsize=128的情况下),我看了下resnet18 10个iteration需要30s 一个epoch得11min 所以我估计epoch不能很大,否则我们积分消耗会过快,我目测了一下后面做dlc转换的时候一下就是100积分二、目前进展:1. 训练已完成构建训练镜像并进行了epoch=50 以原创 2021-04-30 15:23:13 · 497 阅读 · 11 评论 -
2021高通AI应用创新大赛-创新赛道-垃圾分类识别 第二次讨论会
GT第二次讨论会时间:2021/4/24 20:00极市平台一、目前已完成工作:编码调试(已完成)[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-Z6SqiuaA-1619767079102)(https://i.loli.net/2021/04/24/YyaWtwClOscSQMx.png)][外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-nbhn71YL-1619767079104)(https://i.loli.net/202原创 2021-04-30 15:18:26 · 338 阅读 · 1 评论 -
深度学习前人精度很高了怎么创新?
常见的思路我临时给它们取了几个名字:无事生非,后浪推前浪,推陈出新,出奇制胜。1. 在原始的数据集上加一些噪声,例如随机遮挡,或者调整饱和度亮度什么的,主要是根据具体的任务来增加噪声或扰动,不可乱来。如果它的精度下降的厉害,那你的思路就来了,如何在有遮挡或有噪声或其他什么情况下,保证模型的精度。(无事生非)2. 用它的模型去尝试一个新场景的数据集,因为它原来的模型很可能是过拟合的。如果在新场景下精度下降的厉害,思路又有了,如何提升模型的泛化能力,实现在新场景下的高精度。(无事生非)3..原创 2021-04-21 10:33:03 · 250 阅读 · 0 评论 -
mnist数据集下载地址
链接:https://pan.baidu.com/s/1JVzVOx9vxAn_tBeXsbAf_g 密码:locqMNIST数据集介绍MNIST数据集官网:http://yann.lecun.com/exdb/mnist/MNIST数据库是非常经典的一个数据集,就像你学编程起初写一个“Hello Word”的程序一样,学Deep Learning你就会写识别MNIST数据集的Model。MNIST数据集是由0〜9手写数字图片和数字标签所组成的,由60000个训练样本和10000..原创 2021-04-14 10:18:34 · 13766 阅读 · 5 评论 -
torch.cat() 函数用法
torch.cat是将两个张量(tensor)拼接在一起,cat是concatnate的意思,即拼接,联系在一起。使用torch.cat((A,B),dim)时,除拼接维数dim数值可不同外其余维数数值需相同,方能对齐。C = torch.cat( (A,B),0 ) #按维数0拼接(竖着拼)C = torch.cat( (A,B),1 ) #按维数1拼接(横着拼)>>> import torch>>> A=torch.ones(2,3) #2x3原创 2021-04-12 19:31:25 · 1777 阅读 · 1 评论 -
CGAN条件对抗生成网络一瞥
CGAN条件生成式对抗网络论文摘要提出了一个基于生成对抗网络的条件生成式模型;在原模型基础上,会输入额外的数据作为条件;在原模型基础上,对生成器和判别器都进行了修改;在MNIST数据集上,新模型可以生成以数字类别标签为条件的手写数字图像;新模型还可以用来做多模态学习,可以生成输入图像相关的描述标签;1.CGAN研究背景![在这里插入图片描述](https://img-blog.csdnimg.cn/20210412104107189.png?x-oss-process=image/wat原创 2021-04-12 11:16:49 · 376 阅读 · 0 评论 -
深入浅出——搞懂卷积神经网络的过拟合、梯度弥散、batchsize的影响的问题
深入浅出-搞懂卷积神经网络过拟合、梯度弥散、batchsize的问题转载 2021-03-26 09:28:42 · 964 阅读 · 0 评论 -
AttributeError: ‘Model‘ object has no attribute ‘predict_classes‘ 的解决方案
使用keras训练好了mnist数字识别模型后,准备拿来做预测。以下是预测代码:#coding:utf-8import cv2import numpy as npfrom keras.models import load_modelmodel = load_model('self.h5') image = cv2.imread('Predict_image/7.jpg', 0)img = cv2.imread('Predict_image/7.jpg', 0) ...原创 2021-03-14 09:44:07 · 2607 阅读 · 0 评论 -
先验信息与后验信息
先验与后验从原因到结果的论证称为“先验的”,而从结果到原因的论证称为“后验的”。先验概率是指根据以往经验和分析得到的概率,如全概率公式 中的,它往往作为“由因求果”问题中的“因”出现。后验概率是指在得到“结果”的信息后重新修正的概率,是“执果寻因”问题中的“因” 。后验概率是基于新的信息,修正原来的先验概率后所获得的更接近实际情况的概率估计。先验概率和后验概率是相对的。如果以后还有新的信息引入,更新了现在所谓的后验概率,得到了新的概率值,那么这个新的概率值被称为后验概率。先验概率的分类:利用转载 2021-03-11 19:34:32 · 8705 阅读 · 0 评论 -
Tensorflow GAN对抗生成网络实战
这一节的回顾主要针对使用JS散度得DCGAN和基于GP理论和Wasserstein Distance理论的WGAN首先是DCGAN我们的训练数据集是一堆这种二次元的动漫头像的图片,那么我们就是要训练出一个画家能够生成同样是二次元的头像数据,当然与之对应的也会有一位鉴画师诞生:其网络结构可以描述如下,代码中的网络结构有所差异具体是代码的generator网络是[b,100]=>[b,3*3*512]=>[b,3,3,512]=>[b,64,64,3]是一个deconvolutio原创 2021-02-28 20:09:34 · 692 阅读 · 10 评论 -
Tensorflow 对抗生成网络GAN 不服就GAN
这一节的回顾也意味着深度学习基础课程学习进入了尾声了,GAN作为性能远超我们上一节提到的VAE的一个存在还是有很多出彩的地方的:首先引用理查德费曼的一句话-'What I cannot create, I do not understand"作为模型训练的目标就是毕竟模拟出这样一个分布P(x)。那么P(x)这个分布究竟是怎么样的呢?看下一张图:那么问题来怎么学习这样的分布呢,接下来我们以一个画家的成长作为举例:一开始画家小时候画的蒙娜丽莎和达芬奇的蒙娜丽莎相去甚远,.原创 2021-02-27 20:37:27 · 465 阅读 · 0 评论 -
Tensorflow Auto-encoder + VAE 实战
让我们来康康作为base_line的Auto_Encoderimport osimport tensorflow as tfimport numpy as npfrom tensorflow import kerasfrom tensorflow.keras import Sequential, layersfrom PIL import Imagefrom matplotlib import pyplot as plttf.random.set_seed(22)np.rando原创 2021-02-27 16:37:42 · 219 阅读 · 0 评论 -
Tensorflow 2 Auto-Encoder
Auto-Encoder 相比较于其他的有监督学习不同,本质上AE是一个无监督学习的过程。那么首先回顾和区分一下有监督学习和无监督学习的不同这里将有监督学习大致可以分为回归和分类两个大类,虽然回归和分类两者不同,但是他们共同的一点就是数据集都是有类别和有具体的一个数值作为其真实值的,也就是标签。但是我们现实中遇到的问题会有很多未标记数据,那么这些为标记的数据如何来做有监督学习呢?不得不说其实要么我们得花高昂的成本去对数据进行标记,要么我们就需要另寻他法了。话不多说其实最常见的方法了是采用原创 2021-02-25 17:57:21 · 200 阅读 · 0 评论 -
Tensorflow 卷积神经网络 (四)cifar100实战
这里根据keras提供的cifar100的数据集做一个实战案例的回顾CIFAR100是一个有100个类别的图片数据集,其体量比CIFAR10大了不是一点点,那么我们要如何更好的处理这样大批量的数据集呢,这里使用卷积神经网络进行解决其网络结构如下图:上代码import tensorflow as tffrom tensorflow.keras import layers, optimizers, datasets, Sequentialimport osos.environ原创 2021-01-31 11:54:33 · 1305 阅读 · 0 评论 -
Tensorflow 卷积神经网络(三)池化与采样
前一节的内容对卷积网络的padding,stride等概念有了介绍,这一节会需要回顾一下其中重要的几个概念包括池化(Pooling)、过采样(upsample)以及激活函数ReLU。首先我们根据一张经典的LeNet5网络来了解下降维也就是下采样。可以看到,两个subsampling层将原来输入的28*28的图像数据见魏晨了14*14和5*5;那么下采样是怎么实现的呢,实际上这个操作的执行就是池化,如上图所示,池化主要分为两种average个Max,在这里我们的卷积核大小设置为2*2,步长st原创 2021-01-31 10:47:39 · 955 阅读 · 0 评论 -
Tensorflow 卷积神经网络 (二)
经过了第一节关于什么是卷积的介绍,这里结合相关的网络结构来回顾下什么是卷积神经网络:首先回顾一下我们2D的卷积的局部感受野的概念,即对输入图像的一部分聚焦进行观察,其余部分不管,通过移动窗口遍历整个输入图像的股过程。那么一个新的概念需要了解下,就是卷积核的大小(kernel size),以RGB三通道的图像为例,这里选取的卷积核大小为3*3的矩阵,我们三个通道分别得到三个卷积操作后的计算结果,而最终的output是三个通道的卷积操作结果的线性相加如下图所示:回收第一张图,这里可以更直原创 2021-01-30 22:05:00 · 184 阅读 · 0 评论 -
Tensorflow学习之 卷积神经网络 (一)什么是卷积?
这一节回顾一下卷积神经网络第一张图是单通道的一张照片,在RGB中只有一个通道,即一个0-255的值来表示其灰度;第二张图就是一张彩色的图片了,这里具有三个通道,也就是我们常见的RGB三个0-255的值来表示每个像素块的一个颜色信息。那么像下面这张图如果将三个通道的图像进行叠加的话就是下面这种效果那么问题来了,这种卷积操作我们现在还尚不明确其具体实现过程,但是从三个通道这个概念来看我们就知道其和线性的全连接网络有着不同了,那为啥不搞线性的呢?下面做出解释(只是鄙人的粗浅之.原创 2021-01-30 21:29:59 · 190 阅读 · 0 评论 -
Tensorflow 循环神经网络03 LSTM长短时记忆神经网络
LSTM是RNN的一个改进版,其主要目的是解决RNN因为网络中输入的序列过长,丢失了之前的信息的情况回顾一下原来的RNN下面这张图展示的是SimpleRNN的一个网络结构这样的一个链式结构LSTM也是继承了的,但是其中的repeating module 有了不同的结构表现形式,也就是对应的门式结构,如下图所示,黄色方框表示的神经网络层,粉色的圈是矩阵运算符号接下来逐个介绍其中的门(一共3个)首先是LSTM的核心思想,Cell stateL=》“细胞状态”(cell state原创 2021-01-25 11:53:45 · 200 阅读 · 0 评论 -
Tensorflow 循环神经网络 文本情感分析概述02
上一节讲了时序表示形式,那么完成了相关的转换,这一节将以文本-词向量为例展示回顾循环神经网络的内部构成这里提一点就是关于embedding的好坏与否,那么如上图,两个语义相近的词他们的词向量在空间上是否距离较近代表了其好坏。相类似的词距离越近其相似度越高,那么在之后的情感分析或者是语义分析的过程中才能产生好的结果。这里对应有5个词组成的一句话 i hate this boring movie 那么按照之前的时序化方法,每个词将分别作为五个input输入网络然后综合这5个input的结果来计算原创 2021-01-25 11:17:50 · 465 阅读 · 0 评论 -
Tensorflow 循环神经网络-时间序列表示
回顾一下卷积神经网络,之前的CNN是由交替的convolution卷积层和池化层组成的,最后输出到数个全连接层和最终的对应激活函数层。那么接下来从几个实例部分来了解一下循环神经网络。首先是时间序列的信号数据:这里以一句话为例,多个单词组成的句子,其每个元素单词是依照一定顺序排列的,那么这些单词也依照其顺序依次作为一个输入xt输入到循环神经网络中,那么此时对应t个单词的句子会有t个对应的w和b。这里定义一下输入的数据形式是[b,seq_len,feature_len], b=bat..原创 2021-01-25 10:36:20 · 437 阅读 · 0 评论 -
Tensorflow 2 循环神经网络 GRU 豆瓣IMDB影评数据集训练模型
豆瓣IMDB影评数据集的GRU形式这里边GRU是比LSTM少一个门,LSTM是有Forget gate, Imput gate, 和 Cell gate, GRU只有 Reset gate和 Forget gateimport osimport tensorflow as tfimport numpy as npfrom tensorflow import kerasfrom tensorflow.keras import layerstf.random.set_seed(22原创 2021-01-25 09:21:52 · 1031 阅读 · 2 评论 -
卷积神经网络-感受野的定义
1. 感受野的概念在卷积神经网络中,感受野(Receptive Field)的定义是卷积神经网络每一层输出的特征图(feature map)上的像素点在输入图片上映射的区域大小。再通俗点的解释是,特征图上的一个点对应输入图上的区域,如图1所示。图1:用图形理解感受野概念2. 感受野的例子(1)两层3*3的卷积核卷积操作之后的感受野是5*5,其中卷积核(filter)的步长(stride)为1、padding为0,如图2所示:图2:两层3*3卷积核操作之后的感受野是5*5.转载 2021-01-10 16:00:02 · 405 阅读 · 0 评论 -
CNN中各类卷积总结:残差、shuffle、空洞卷积、变形卷积核、可分离卷积等
CNN从2012年的AlexNet发展至今,科学家们发明出各种各样的CNN模型,一个比一个深,一个比一个准确,一个比一个轻量。我下面会对近几年一些具有变革性的工作进行简单盘点,从这些充满革新性的工作中探讨日后的CNN变革方向。注:水平所限,下面的见解或许有偏差,望大牛指正。另外只介绍其中具有代表性的模型,一些著名的模型由于原理相同将不作介绍,若有遗漏也欢迎指出。一、卷积只能在同一组进行吗?-- Group convolutionGroup convolution 分组卷积,最早在AlexN.转载 2021-01-07 09:21:08 · 2740 阅读 · 1 评论