![](https://img-blog.csdnimg.cn/91613c2139a04e9c91399a7b2000ebfa.jpg?x-oss-process=image/resize,m_fixed,h_224,w_224)
Python
文章平均质量分 66
Python
小刘鸭!
就读专业:载运工具运用工程
研究方向:高速列车关键零部件故障诊断与状态监测 PHM
主要研究深度学习相关,卷积神经网络+对抗神经网络等在故障诊断方面的应用,目前已发表半监督异常检测论文一篇SCI(JCR Q1) IF=6.058 以及疫情背景下的物流货运大数据分析论文一篇SCI JCR Q2 IF=3.714
展开
-
离线安装Linux包的方法--以imblearn为例
注意如果没有找到合适的话要在左边点Release history找之前的版本,一般就会有了,像我的python版本是3.7,最新版是没有合适的whl 的。包的.whl文件直接在https://pypi.org/上搜索下载就好,注意要搜索全名scikit-learn!你搜sklearn是找不到合适的包的。这样他才会乖乖按你的本地whl文件安装,如果中间叫你安装包别的依赖包照着做就好,不要慌!之后下载下来传到你的服务器/虚拟机上,接下来注意!安装好的那一刻真的泪目了,希望能帮到有需要的人吧。原创 2023-02-22 10:42:42 · 684 阅读 · 0 评论 -
Matplotlib如何实现英文为Time New Roman中文为宋体
如果你在一个plt显示多个线条,每个线条都设置label后,在最后通过plt.legend()方法显示,在这种情况下,要是中文设置宋体,英文设置Times New Roman,那你呵呵吧,通过set_fontname只会修改整体,而通过set_fontproperties才能对单个label进行修改。具体参考了matplotlib.Text的属性。python中用matplotlib库画图时,把中文设置为宋体,英文设置为Time New Roman,有时候还需要显示公式。转载 2022-11-02 15:50:06 · 2422 阅读 · 0 评论 -
ProGAN代码实现细节(二)
ProGAN的详细代码介绍原创 2022-10-22 17:03:57 · 1778 阅读 · 0 评论 -
ProGAN 论文精读 (一)
核心要点使用渐进的方式来训练生成器和判别器:先从生成低分辨率图像开始,然后不断增加模型层数来提升生成图像的细节这个方法能加速模型训练并大幅提升训练稳定性,生成前所未有的的高质量图像(1024*1024)提出了一种简单的方法来增加生成图像的多样性介绍了几种限制生成器和判别器之间不健康竞争的技巧提出了一种评价GAN生成效果的新方法,包括对生成质量和多样性的衡量构建了一个CELEBA数据集的高清版本。原创 2022-10-20 17:27:10 · 1994 阅读 · 0 评论 -
机器学习 集成学习理论基础 随机森林+adaboost
原创 2022-02-13 21:48:05 · 357 阅读 · 0 评论 -
机器学习理论基础 集成学习前期基础--分类决策树与回归决策树
原创 2022-02-13 21:35:00 · 335 阅读 · 0 评论 -
阿里天池供应链需求预测(二)
阿里天池供应链需求预测第二阶段总结一、已尝试的模型和存在的问题:LSTM单变量多步预测模型:通过循环迭代预测,实现了通过前42天的历史需求数据来预测未来14天的库存资源需求量;但是目前由于有的Unit的历史数据非常少,导致LSTM往往处于一种过拟合的状态,预测的效果非常的差。由第一次的尝试的经过我们选用了比较传统经典的模型ARIMA,这里总结回顾一下ARIMA的一个完整流程:1.数据准备与预处理Train_dt = read_csv('train.csv')[['unit','ts','原创 2021-12-09 10:01:30 · 4312 阅读 · 0 评论 -
阿里云天池供应链大赛(一)
使用历史平均来预测未来的需求使用测试集真实数据进行过拟合的结果一、问题描述名词定义库存水位在仓库存数量,用来满足需求。补货时长(交货时间,lead_time)从下达补货指令到货物到仓可用的时长。本赛题初赛时的补货时长为14天,即假设1号A货物的库存水位为0,此时下达A货物补货指令,补货量为10,则1号至14号A货物的库存水位均为0,15号时A货物的库存水位为10。补货在途下达补货指令后还未到仓的货物量总和。上例中1号至14号A货物的补货在途为10,其他时段为0。若在8号...原创 2021-12-09 09:53:04 · 2405 阅读 · 36 评论 -
实践教程 | Pytorch 模型的保存与迁移
实践教程 | Pytorch 模型的保存与迁移在本篇文章中,笔者首先介绍了模型复用的几种典型场景;然后介绍了如何查看Pytorch模型中的相关参数信息;接着介绍了如何载入模型、如何进行追加训练以及进行模型的迁移学习等。1 引言各位朋友大家好,欢迎来到月来客栈。今天要和大家介绍的内容是如何在Pytorch框架中对模型进行保存和载入、以及模型的迁移和再训练。一般来说,最常见的场景就是模型完成训练后的推断过程。一个网络模型在完成训练后通常都需要对新样本进行预测,此时就只需要构建模型的前向传播过程,然后载入已原创 2021-10-09 15:11:32 · 743 阅读 · 2 评论 -
Matplotlib使用指南
Matplotlib 是一个 Python 的 2D绘图库,它以各种硬拷贝格式和跨平台的交互式环境生成出版质量级别的图形。通过 Matplotlib,开发者可以仅需要几行代码,便可以生成绘图,直方图,功率谱,条形图,错误图,散点图等。以下内容来自**「Github」,为《PythonDataScienceHandbook[1]》(Python 数据科学手册[2])第四章「Matplotlib」**介绍部分。全部内容都在以下环境演示通过:numpy:1.18.5pandas:1.0.5matplot转载 2021-09-03 10:08:09 · 1102 阅读 · 0 评论 -
GT决赛第二次讨论会议
GT决赛第二次讨论会议一、目前已有工作开展情况Android开发进展垃圾识别功能部分:已经完成了模型量化pkl->onnx->dlc->quantized dlc,具体流程跟初赛大致相同,额外需要部署snpe环境;详细过程参见Qualcomm高通AI神经网络处理SDK部署流程;AI-tools使用测试过程(罗乾),确认我们的量化模型无误;根据高通的snpe中的示例app进行了调试,更换了我们的模型和预处理好的图片测试数据集(初赛100张测试图片);具体参见视原创 2021-08-01 19:29:17 · 332 阅读 · 0 评论 -
2021高通人工智能应用创新大赛踩坑指南
在训练模型时会在前面加上:model.train()在测试模型时在前面使用:model.eval()同时发现,如果不写这两个程序也可以运行,这是因为这两个方法是针对在网络训练和测试时采用不同方式的情况,比如Batch Normalization 和Dropout。使用PyTorch进行训练和测试时一定注意要把实例化的model指定train/eval,eval()时,框架会自动把BN和DropOut固定住,不会取平均,而是用训练好的值,不然的话,一旦test的batch_size过小,很容易就原创 2021-05-09 14:22:31 · 242 阅读 · 0 评论 -
Deep-Clustering-for-Unsupervised-Learning-of-Visual-Features
Deep-Clustering-for-Unsupervised-Learning-of-Visual-Features一、核心观点核心: 通过cluster方式学习一个特征提取器,来初始化需要进行分类预测的网络的特征提取器原因: 待求解的任务中数据的标签在某些类别中缺失或者非常的少二、文章发表时间及团队文章于2019由Facebook AI Research实验室完成三、文章开展的主要工作:聚类(Cluster) 是一种经典的无监督学习方法,但是鲜有工作将其与深度学习结合。这篇文转载 2021-05-06 10:15:48 · 541 阅读 · 0 评论 -
2021高通AI应用创新大赛-创新赛道-垃圾分类识别 第三次会议研讨
GT 第三次会议研讨一、较为详细的流程教程:极市平台2020教程‘debug平台训练及模型转换代码示例关于模型训练测试等过程积分消耗我们跑一个epoch 一共有220个iteration (batchsize=128的情况下),我看了下resnet18 10个iteration需要30s 一个epoch得11min 所以我估计epoch不能很大,否则我们积分消耗会过快,我目测了一下后面做dlc转换的时候一下就是100积分二、目前进展:1. 训练已完成构建训练镜像并进行了epoch=50 以原创 2021-04-30 15:23:13 · 510 阅读 · 11 评论 -
2021高通AI应用创新大赛-创新赛道-垃圾分类识别 第二次讨论会
GT第二次讨论会时间:2021/4/24 20:00极市平台一、目前已完成工作:编码调试(已完成)[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-Z6SqiuaA-1619767079102)(https://i.loli.net/2021/04/24/YyaWtwClOscSQMx.png)][外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-nbhn71YL-1619767079104)(https://i.loli.net/202原创 2021-04-30 15:18:26 · 340 阅读 · 1 评论 -
mnist数据集下载地址
链接:https://pan.baidu.com/s/1JVzVOx9vxAn_tBeXsbAf_g 密码:locqMNIST数据集介绍MNIST数据集官网:http://yann.lecun.com/exdb/mnist/MNIST数据库是非常经典的一个数据集,就像你学编程起初写一个“Hello Word”的程序一样,学Deep Learning你就会写识别MNIST数据集的Model。MNIST数据集是由0〜9手写数字图片和数字标签所组成的,由60000个训练样本和10000..原创 2021-04-14 10:18:34 · 13809 阅读 · 5 评论 -
torch.cat() 函数用法
torch.cat是将两个张量(tensor)拼接在一起,cat是concatnate的意思,即拼接,联系在一起。使用torch.cat((A,B),dim)时,除拼接维数dim数值可不同外其余维数数值需相同,方能对齐。C = torch.cat( (A,B),0 ) #按维数0拼接(竖着拼)C = torch.cat( (A,B),1 ) #按维数1拼接(横着拼)>>> import torch>>> A=torch.ones(2,3) #2x3原创 2021-04-12 19:31:25 · 1777 阅读 · 1 评论 -
CGAN条件对抗生成网络一瞥
CGAN条件生成式对抗网络论文摘要提出了一个基于生成对抗网络的条件生成式模型;在原模型基础上,会输入额外的数据作为条件;在原模型基础上,对生成器和判别器都进行了修改;在MNIST数据集上,新模型可以生成以数字类别标签为条件的手写数字图像;新模型还可以用来做多模态学习,可以生成输入图像相关的描述标签;1.CGAN研究背景![在这里插入图片描述](https://img-blog.csdnimg.cn/20210412104107189.png?x-oss-process=image/wat原创 2021-04-12 11:16:49 · 377 阅读 · 0 评论 -
深入浅出——搞懂卷积神经网络的过拟合、梯度弥散、batchsize的影响的问题
深入浅出-搞懂卷积神经网络过拟合、梯度弥散、batchsize的问题转载 2021-03-26 09:28:42 · 973 阅读 · 0 评论 -
AttributeError: ‘Model‘ object has no attribute ‘predict_classes‘ 的解决方案
使用keras训练好了mnist数字识别模型后,准备拿来做预测。以下是预测代码:#coding:utf-8import cv2import numpy as npfrom keras.models import load_modelmodel = load_model('self.h5') image = cv2.imread('Predict_image/7.jpg', 0)img = cv2.imread('Predict_image/7.jpg', 0) ...原创 2021-03-14 09:44:07 · 2624 阅读 · 0 评论 -
Tensorflow GAN对抗生成网络实战
这一节的回顾主要针对使用JS散度得DCGAN和基于GP理论和Wasserstein Distance理论的WGAN首先是DCGAN我们的训练数据集是一堆这种二次元的动漫头像的图片,那么我们就是要训练出一个画家能够生成同样是二次元的头像数据,当然与之对应的也会有一位鉴画师诞生:其网络结构可以描述如下,代码中的网络结构有所差异具体是代码的generator网络是[b,100]=>[b,3*3*512]=>[b,3,3,512]=>[b,64,64,3]是一个deconvolutio原创 2021-02-28 20:09:34 · 692 阅读 · 10 评论 -
Tensorflow 对抗生成网络GAN 不服就GAN
这一节的回顾也意味着深度学习基础课程学习进入了尾声了,GAN作为性能远超我们上一节提到的VAE的一个存在还是有很多出彩的地方的:首先引用理查德费曼的一句话-'What I cannot create, I do not understand"作为模型训练的目标就是毕竟模拟出这样一个分布P(x)。那么P(x)这个分布究竟是怎么样的呢?看下一张图:那么问题来怎么学习这样的分布呢,接下来我们以一个画家的成长作为举例:一开始画家小时候画的蒙娜丽莎和达芬奇的蒙娜丽莎相去甚远,.原创 2021-02-27 20:37:27 · 465 阅读 · 0 评论 -
Tensorflow Auto-encoder + VAE 实战
让我们来康康作为base_line的Auto_Encoderimport osimport tensorflow as tfimport numpy as npfrom tensorflow import kerasfrom tensorflow.keras import Sequential, layersfrom PIL import Imagefrom matplotlib import pyplot as plttf.random.set_seed(22)np.rando原创 2021-02-27 16:37:42 · 219 阅读 · 0 评论 -
Tensorflow 2 Auto-Encoder
Auto-Encoder 相比较于其他的有监督学习不同,本质上AE是一个无监督学习的过程。那么首先回顾和区分一下有监督学习和无监督学习的不同这里将有监督学习大致可以分为回归和分类两个大类,虽然回归和分类两者不同,但是他们共同的一点就是数据集都是有类别和有具体的一个数值作为其真实值的,也就是标签。但是我们现实中遇到的问题会有很多未标记数据,那么这些为标记的数据如何来做有监督学习呢?不得不说其实要么我们得花高昂的成本去对数据进行标记,要么我们就需要另寻他法了。话不多说其实最常见的方法了是采用原创 2021-02-25 17:57:21 · 200 阅读 · 0 评论 -
Tensorflow 卷积神经网络 (四)cifar100实战
这里根据keras提供的cifar100的数据集做一个实战案例的回顾CIFAR100是一个有100个类别的图片数据集,其体量比CIFAR10大了不是一点点,那么我们要如何更好的处理这样大批量的数据集呢,这里使用卷积神经网络进行解决其网络结构如下图:上代码import tensorflow as tffrom tensorflow.keras import layers, optimizers, datasets, Sequentialimport osos.environ原创 2021-01-31 11:54:33 · 1307 阅读 · 0 评论 -
Tensorflow 卷积神经网络(三)池化与采样
前一节的内容对卷积网络的padding,stride等概念有了介绍,这一节会需要回顾一下其中重要的几个概念包括池化(Pooling)、过采样(upsample)以及激活函数ReLU。首先我们根据一张经典的LeNet5网络来了解下降维也就是下采样。可以看到,两个subsampling层将原来输入的28*28的图像数据见魏晨了14*14和5*5;那么下采样是怎么实现的呢,实际上这个操作的执行就是池化,如上图所示,池化主要分为两种average个Max,在这里我们的卷积核大小设置为2*2,步长st原创 2021-01-31 10:47:39 · 958 阅读 · 0 评论 -
Tensorflow 卷积神经网络 (二)
经过了第一节关于什么是卷积的介绍,这里结合相关的网络结构来回顾下什么是卷积神经网络:首先回顾一下我们2D的卷积的局部感受野的概念,即对输入图像的一部分聚焦进行观察,其余部分不管,通过移动窗口遍历整个输入图像的股过程。那么一个新的概念需要了解下,就是卷积核的大小(kernel size),以RGB三通道的图像为例,这里选取的卷积核大小为3*3的矩阵,我们三个通道分别得到三个卷积操作后的计算结果,而最终的output是三个通道的卷积操作结果的线性相加如下图所示:回收第一张图,这里可以更直原创 2021-01-30 22:05:00 · 184 阅读 · 0 评论 -
Tensorflow学习之 卷积神经网络 (一)什么是卷积?
这一节回顾一下卷积神经网络第一张图是单通道的一张照片,在RGB中只有一个通道,即一个0-255的值来表示其灰度;第二张图就是一张彩色的图片了,这里具有三个通道,也就是我们常见的RGB三个0-255的值来表示每个像素块的一个颜色信息。那么像下面这张图如果将三个通道的图像进行叠加的话就是下面这种效果那么问题来了,这种卷积操作我们现在还尚不明确其具体实现过程,但是从三个通道这个概念来看我们就知道其和线性的全连接网络有着不同了,那为啥不搞线性的呢?下面做出解释(只是鄙人的粗浅之.原创 2021-01-30 21:29:59 · 190 阅读 · 0 评论 -
Tensorflow 循环神经网络03 LSTM长短时记忆神经网络
LSTM是RNN的一个改进版,其主要目的是解决RNN因为网络中输入的序列过长,丢失了之前的信息的情况回顾一下原来的RNN下面这张图展示的是SimpleRNN的一个网络结构这样的一个链式结构LSTM也是继承了的,但是其中的repeating module 有了不同的结构表现形式,也就是对应的门式结构,如下图所示,黄色方框表示的神经网络层,粉色的圈是矩阵运算符号接下来逐个介绍其中的门(一共3个)首先是LSTM的核心思想,Cell stateL=》“细胞状态”(cell state原创 2021-01-25 11:53:45 · 203 阅读 · 0 评论 -
Tensorflow 循环神经网络-时间序列表示
回顾一下卷积神经网络,之前的CNN是由交替的convolution卷积层和池化层组成的,最后输出到数个全连接层和最终的对应激活函数层。那么接下来从几个实例部分来了解一下循环神经网络。首先是时间序列的信号数据:这里以一句话为例,多个单词组成的句子,其每个元素单词是依照一定顺序排列的,那么这些单词也依照其顺序依次作为一个输入xt输入到循环神经网络中,那么此时对应t个单词的句子会有t个对应的w和b。这里定义一下输入的数据形式是[b,seq_len,feature_len], b=bat..原创 2021-01-25 10:36:20 · 438 阅读 · 0 评论 -
Tensorflow 2 循环神经网络 GRU 豆瓣IMDB影评数据集训练模型
豆瓣IMDB影评数据集的GRU形式这里边GRU是比LSTM少一个门,LSTM是有Forget gate, Imput gate, 和 Cell gate, GRU只有 Reset gate和 Forget gateimport osimport tensorflow as tfimport numpy as npfrom tensorflow import kerasfrom tensorflow.keras import layerstf.random.set_seed(22原创 2021-01-25 09:21:52 · 1039 阅读 · 2 评论 -
pip安装第三方库报错Retrying (Retry(total=1, connect=None, read=None, redirect=None, status=None))
pip安装第三方库报错Retrying (Retry(total=1, connect=None, read=None, redirect=None, status=None))pip安装第三方库时报错Retrying (Retry(total=1, connect=None, read=None, redirect=None, status=None))...,详细报错见下图:报错原因:国外镜像源连接问题导致解决:改为国内镜像源下载常用国内源:清华:https://pypi原创 2021-01-23 16:03:58 · 1937 阅读 · 0 评论 -
卷积神经网络-感受野的定义
1. 感受野的概念在卷积神经网络中,感受野(Receptive Field)的定义是卷积神经网络每一层输出的特征图(feature map)上的像素点在输入图片上映射的区域大小。再通俗点的解释是,特征图上的一个点对应输入图上的区域,如图1所示。图1:用图形理解感受野概念2. 感受野的例子(1)两层3*3的卷积核卷积操作之后的感受野是5*5,其中卷积核(filter)的步长(stride)为1、padding为0,如图2所示:图2:两层3*3卷积核操作之后的感受野是5*5.转载 2021-01-10 16:00:02 · 407 阅读 · 0 评论 -
CNN中各类卷积总结:残差、shuffle、空洞卷积、变形卷积核、可分离卷积等
CNN从2012年的AlexNet发展至今,科学家们发明出各种各样的CNN模型,一个比一个深,一个比一个准确,一个比一个轻量。我下面会对近几年一些具有变革性的工作进行简单盘点,从这些充满革新性的工作中探讨日后的CNN变革方向。注:水平所限,下面的见解或许有偏差,望大牛指正。另外只介绍其中具有代表性的模型,一些著名的模型由于原理相同将不作介绍,若有遗漏也欢迎指出。一、卷积只能在同一组进行吗?-- Group convolutionGroup convolution 分组卷积,最早在AlexN.转载 2021-01-07 09:21:08 · 2747 阅读 · 1 评论 -
深度学习与TensorFlow入门实战——手写数字识别初体验
import osimport tensorflow as tftf.compat.v1.enable_eager_execution()from tensorflow import kerasfrom tensorflow.keras import layers, optimizers, datasetsos.environ['TF_CPP_MIN_LOG_LEVEL']='2'(x, y), (x_val, y_val) = datasets.mnist.load_d.原创 2020-11-30 11:04:29 · 186 阅读 · 0 评论 -
python实现词云图
python实现词云图@TOC欢迎使用Markdown编辑器import osprint(os.getcwd()) # 打印当前工作目录os.chdir(’/Users//Desktop/’) # 将当前工作目录改变为/Users/<username>/Desktop/你好! 这是你第一次使用 Markdown编辑器 所展示的欢迎页。如果你想学习如何使用Markdown编辑器...原创 2019-11-30 21:47:51 · 2009 阅读 · 0 评论 -
Python 西瓜书机器学习支持向量机(SVM)
%matplotlib inline#为了在notebook中画图展示import numpy as npimport matplotlib.pyplot as pltfrom scipy import statsimport seaborn as sns; sns.set()#随机来点数据#其中 cluster_std是数据的离散程度from sklearn.datasets.samples_generator import make_blobsX, y = make_b...原创 2020-09-15 19:50:08 · 1093 阅读 · 2 评论 -
机器学习《西瓜书》EM算法公式推导+三硬币模型求解实例
原创 2020-09-05 12:10:42 · 328 阅读 · 0 评论 -
西瓜书《贝叶斯》朴素贝叶斯公式推导
原创 2020-09-05 12:08:04 · 303 阅读 · 0 评论 -
Python 机器学习 随机森林 天气最高温度预测任务(三)
开始调节新的参数from sklearn.ensemble import RandomForestRegressorrf = RandomForestRegressor(random_state = 42)from pprint import pprint# 打印所有参数pprint(rf.get_params())开始尝试各种参数吧调参路漫漫,参数的可能组合结果实在太多了,我们还得有章可循,首先登场的是:RandomizedSearchCV(),这个函数可以帮助我们在候选原创 2020-08-20 11:33:13 · 1834 阅读 · 0 评论