闲看庭前雪-CSDN博客

原创使用SPSS的McNemar检验两种深度学习模型的差异性

问题：两个深度学习模型在同一测试集下的性能是否有差异性。前排提示：我看到好多McNemar检验的文章没有说如何用到深度学习模型检测的，所以自己给自己做个笔记.本身不难，但是很多文章都写的好乱，例如没有解释为什么深度学习模型中留一法，或者单独留出测试集的k折模型只能用McNemar 测试检验模型差异性。以及零假设是什么，为什么要拒绝。1.不使用python构建McNemar检验代码2.使用spss的McNemar检验方便快捷，适合即时使用

2023-12-13 14:52:11 2102

原创使用debug查看循环里的变量值

项目场景：提示：这里简述项目相关背景：如何查看循环里的变量值即使使用paycharm的pyhton控制台也无法查看到的那些隐藏的变量值，如何使用断点和debug查看问题描述：跑代码时，有些变量，我没法查看到，使用print，每次我都要重新跑例如，我想查看中间变量h的形状：代码如下：else: # If MLP print('x.size', x.size) h = x for i in range(self.num_layers - 1):

2022-02-13 18:20:35 2544

原创对dataframe改行名，或者说行标签，用列表修改行名

项目场景：提示：好想把自己遇到的所有bug和技术问题都写成博客，哈哈哈，这肯定是不可能的，毕竟太耗费时间了。使用pandas处理数据，处理列表数据问题描述：提示：这里描述项目中遇到的问题：test_data = pd.concat(MRI_test,X_test],axis=1)合并失败！因为，按行合并的两个df的行名不一致，和DF的合并规则，导致合并后的df的行数时这两个df的总和，没有数据的地方用nan显示。解决方案：一般方法：#修改列标签df.index = ['a0'

2022-02-12 11:53:57 1779

原创 RuntimeError: Expected all tensors to be on the same device, but found at least two devices, cuda:0

项目场景：神经网络模型运行中，出现的问题。RuntimeError: Expected all tensors to be on the same device, but found at least two devices, cuda:0 and cpu!问题描述：出现RuntimeError: Expected all tensors to be on the same device, but found at least two devices, cuda:0 and cpu!的原因是：

2022-01-14 16:01:51 4371

原创 ValueError: optimizer got an empty parameter list

项目场景：深度学习项目中，对神经网络进行编层。出现ValueError: optimizer got an empty parameter list问题描述：ValueError: optimizer got an empty parameter list!一定要具体问题具体分析。先直接定位出错代码层，从出错代码层可以直接看到没有self传参class Classifier(nn.Module): def __init__(self): super(Classifi

2022-01-13 17:52:28 3911

原创 joblib.externals.loky.process_executor.BrokenProcessPool: A task has failed to un-serialize. Please

项目场景：编程语言：python编程环境：windows+pycharm具体环境：使用的因果推断模型， DMLOrthoForest问题描述：DMLOrthoForest中出现的进程紊乱错误，导致，进程反馈乱码，进程终结。 joblib.externals.loky.process_executor.BrokenProcessPool: A task has failed to un-serialize. Please ensure that the arguments of the funct

2021-12-30 17:44:15 3957

原创 Dataframe,数据框，按照含有指定列名的列表list来选择列数据

系列文章目录标准化处理数据和panda读取excel数据，保存数据Dataframe,数据框，按照指定列名列表list来选择列数据系列文章目录前言一、pandas是什么？二、使用list筛选df列数据解决方案总结前言主要就是自己经常会忘，或者和loc，iloc混淆了，在处理数据时，又经常用到，所以记载一下。将需要筛选的几列数据的列名汇总成一个list，然后通过list筛选Dataframe，非常简单。一、pandas是什么？pandas 是基于NumPy 的一种工具，该工具是为了解决数据分析任

2021-12-15 17:49:23 5188

原创 argparser 问题 Unrecognized Arguments

BUG记录项目场景：argparser 参数设置问题描述：SystemExit: 2 Unrecognized Arguments代码：if __name__ == '__main__': argparser = argparse.ArgumentParser("multi-gpu training") argparser.add_argument("--gpu", type=str, default='0', help="

2021-10-09 14:45:05 2822 1

原创无覆盖，追加保存数据到txt文件，且数据量较大，保存到txt文件时，出现数据省略的现象的解决

无覆盖，追加保存数据到txt文件数据量较大，保存到txt文件时，出现数据省略的现象项目场景：保存实验特征数据问题描述：在保存特征时，由于数据量较大，保存到txt文件时，出现数据省略的现象。原因分析：提示：这里填写问题的分析：numpy显示与保存数据问题解决方案：提示：这里填写该问题的具体解决方案：在保存代码种添加 np.set_printoptions(threshold=np.inf)#全部输出即可。y = outputs_1.data.numpy()np.set

2021-06-15 10:19:24 704 6

原创关于保存数据时，提取数据特征的数量和样本数不匹配的原因

关于保存数据时，提取数据特征的数量和样本数不匹配的原因项目场景：样本总数354，测试集283，验证集36，测试集350个epoch，保存的特征数据是【35，90】1个epoch，保存的特征数据是【534，90】2个epoch，保存的特征数据是【1033，90】问题描述：保存特征的数量和样本数量不匹配，按理说保存一个epoch的特征的数量应该是所有样本的数量，这里反而多了。原因分析：0个epoch，保存的是测试集的特征，即35个那么一个epoch保存的特征分别为，283个训练集特征，

2021-06-15 10:05:54 717

原创 pytorch加载保存模型

项目场景： pytorch加载保存模型问题描述：加载保存模型解决方案：非常感谢这个链接不错的记录链接：https://blog.csdn.net/comli_cn/article/details/107516740配合该链接食用效果更加我这里的train替换了他的predict一、保存整个模型虽然占用内存大，但我觉得比仅仅保存模型参数省事保存路径：PATH_all = '/home/ubuntu/liyafeng/NEW_train/728_fusion/daima/MRI_d

2021-06-09 19:02:06 210

原创 RuntimeError: multi-target not supported at

项目场景：手搓CNN问题描述：提示：这里描述项目中遇到的问题：出错代码：batch_loss = loss(train_pred, data[1].cuda())data[1] 是数据的标签出错提示：RuntimeError: multi-target not supported at C:/cb/pytorch_1000000000000/work/aten/src\THCUNN/generic/ClassNLLCriterion.cu:15原因分析：提示：这里填写问题的分析：维

2021-06-05 17:37:58 3387

原创 RuntimeError: Input type (torch.cuda.DoubleTensor) and weight type (torch.cuda.FloatTensor) should b

项目场景：手搓神经网络问题描述：RuntimeError: Input type (torch.cuda.DoubleTensor) and weight type (torch.cuda.FloatTensor) should be the same原因分析：没有把输入数据类型转为float类型解决方案：x = x.type(torch.cuda.FloatTensor)注意，加上 .cuda我参考的文章给了我思路，在我实践的时候，发现还需要添加.cuda参考链接链接: li

2021-06-05 17:07:14 7133

原创标准化处理数据和panda读取excel数据，保存数据

标准化处理数据和panda读取excel数据，保存数据项目场景：提示：标准化处理数据和panda读取数据代码：标准化处理数据def standardization(data):#标准化 mu = np.mean(data, axis=1).reshape(-1,1)#axis=1按行取平均值，reshape让数据能够广播 sigma = np.std(data, axis=1).reshape(-1,1)#std poor = np.subtract(data, mu)

2021-06-05 11:22:43 415

原创 torch中的spmm

系列文章目录本系列记录自己的代码学习知识torch.matmul的前后两个矩阵维度不同的小结torch中的transpose和view的不同torch中的spmm系列文章目录前言一、torch中的spmm总结前言一、torch中的spmm我自己运行的结果，spmm就是矩阵乘法例：z = y.transpose(0,1)output = torch.spmm(y, z)print('z:',z,'y:',y)print('output:',output)z: tensor

2021-05-19 09:55:36 16404 9

原创 torch中的transpose和view的不同

系列文章目录本系列记录自己的代码学习知识torch.matmul的前后两个矩阵维度不同的小结torch中的transpose和view的不同系列文章目录前言一、torch中的transpose二、torch中的view总结前言一、torch中的transposetranspose转置矩阵c = ([[[1,2,3],[1,2,3],[1,2,3]]])c=torch.tensor(c)print('c.shape',c.shape)c.shape torch.Size([1

2021-05-19 09:18:23 1055

原创 torch.matmul的前后两个矩阵维度不同的小结

系列文章目录本系列记录自己的代码学习知识torch.matmul的前后两个矩阵维度不同的小结系列文章目录前言一、torch.matmul()二、详解解释1.input维度比other大2.input维度比other小总结前言一、torch.matmul()torch.matmul()也是一种类似于矩阵相乘操作的tensor联乘操作。但是它可以利用python 中的广播机制，处理一些维度不同的tensor结构进行相乘操作。这也是该函数与torch.bmm()区别所在。torch.matm

2021-05-18 22:23:02 1807

原创 GWAS处理流程（全基因组关联分析）——对从ADNI数据库下载的SNP数据及进行质控（QC）

对从ADNI数据库下载的SNP数据及进行质控（QC）简介一、先查看数据中的个体和SNP缺失情况1.查看2.生成绘图以可视化缺失结果。二、QC第一步：删除缺失度大于某个数值的SNP和个体1.删除SNP2.删除个体3.重复1操作4.重复2操作三、QC第二步：检查性别（非必要步骤）1.检查性别2.可视化结果3.以下两个脚本可用于处理性别差异的个体。（可选，但是我没做）1.删除存在性别差异的个体1）找出并生成相应文本2）根据文本删除个体数据2.修改 input-sex四、QC第三步：最小等位基因频率（MAF）定义：

2021-01-27 12:00:20 10752 17

原创代码小结——Linux——安装pycharm和pip, pytorch/torch

linux 安装pycharm pip项目场景：问题描述：一、在linux上装pycharm二、给新装的的pycharm装pip解决方案：一、安装pycahrm1. 官网下载地址2.利用winscp传到服务器3.在linux上解压并安装二、pip项目场景：最近刚开始服务器跑程序，之前都是Windows系统上跑，现在尝试用Linux跑。做些总结，防止自己之后会忘。问题描述：一、在linux上装pycharm二、给新装的的pycharm装pip给新装的paycharm装pip解决方案：一

2021-01-17 15:32:48 905

原创知识小结------数据分析------Bonferroni correction（邦费罗尼校正）

系列文章目录Cox比例风险回归模型（proportional hazards model）知识小结------数据分析------Fisher‘s exact test(费希尔检测)Bonferroni correction（邦费罗尼校正）系列文章目录前言一、Bonferroni correction（邦费罗尼校正）是什么？二、储备知识1.零假设与备择假设2.型一错误，型二错误三、原理与公式1.我看到了一处非常好的讲解2.累积Ⅰ类错误的概率为α'3.Bonferroni法总结前言https:

2020-12-31 12:04:19 16642 1

原创知识小结------数据分析------Fisher‘s exact test(费希尔检测)

系列知识小结目录Cox比例风险回归模型（proportional hazards model）Fisher's exact test费希尔检测系列知识小结目录前言一、Fisher's exact test费希尔检测是什么？二、原理与公式1.适用范围和目的2.公式的应用1.进行假设2.运用公式求概率P值3.评估总结前言这里记录了我在学习过程学到的一些统计学知识有哪些不对的地方，希望大家能够多多批评和指正。资料大部分来自维基百科，部分是我个人的理解。一、Fisher’s exact te

2020-12-31 10:46:35 17230 2

原创论文小结——影像学和基因组学多模态数据融合在肺癌复发预测中的应用

系列文章目录基于多模态成像遗传学数据来预测帕金森病相关基因和大脑区域的新型GERNNE方法基于聚类演化随机森林的阿尔兹海默症的多模态数据分析影像学和基因组学多模态数据融合在肺癌复发预测中的应用系列文章目录前言一、Introduction二、背景1.研究现状2.研究目标3.研究挑战4.创新点5.意义1.病症2.危害三、方法流程四、数据处理过程五、线性方法1.COX比例风险模型六、非线性方法1.多层感知器2.MFH 多模态因子高阶池化3.BLOCK七、评价指标八、数据集九、结果10.总结与讨论前言

2020-12-30 17:03:18 3958 1

原创知识小结------数据分析------Cox比例风险回归模型（proportional hazards model）

知识小结------数据分析------Cox比例风险回归模型（proportional hazards model）学习知识点：学习内容：1.公式2.各项解释3.作用与意义学习知识点：Cox比例风险回归模型（proportional hazards model）在翻阅论文时看到，所以去查阅了相关资料，做了总结。虽然过于简陋，但是都是我个人的理解。学习内容：1.公式2.各项解释X:客观因素，由m个组成X：客观因素，由m个影响因素组成： X=(X_1,X_2,…,X_m)在患者预后实验中

2020-12-26 11:18:23 3671

原创 pip包高版本转低版本或者直接pip低版本包

pip包高版本转低版本或者直接pip低版本包项目场景：我在帮同学复现论文代码时碰到的问题。有的论文虽然新，但是代码老掉牙了，都不知道多少年前的代码了，真无语。代码如果比较老，就会牵扯到很多兼容问题。我在这里说了四种方法，都适合windows系统。问题描述：Tensorflow运行出现错误: No module named ‘tensorflow.contrib’原因分析：我安装的是tensorflow2.3.0 ，因为tensorflow1.15以后的版本都已经删除了该模块，卸

2020-12-20 14:33:31 3834

原创自己作为新手常用的命令符

提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档自己常用的Linux命令符前言一、查看类型1.查看显卡信息二、使用步骤总结前言将自己常用的命令符一点一滴记录下来持续更新一、查看类型1.查看显卡信息watch -n 5 nvidia-smi二、使用步骤总结...

2020-12-12 21:52:53 120

原创 VGG Practical Category Detection

系列文章目录VGG Image Classification PracticalPractical Category Detection系列文章目录前言一、检测原理1.0加载数据集1.1可视化训练图案1.2 在训练中提取HOG特征1.3简单的HOG模型1.4测试模型1.5提取上层检测二、带有支持向量机的多尺度学习2.1 多尺度检测2.2 收集正面和负面训练数据2.3 支持向量机学习模型2.4 评估模型质量三、多目标检测与评估3.1检测多个目标3.2 检测器评估3.3多幅图像未完待续总结前言对象

2020-12-08 15:05:17 555

原创李宏毅作业十二 Transfer Learning（迁移学习）

系列文章目录李宏毅作业十 Generative Adversarial Network生成对抗网络(代码)李宏毅作业九 Anomaly Detection异常检测李宏毅作业八unsupervised无监督聚类学习李宏毅作业七其三 Network Compression (Network Pruning)李宏毅作业七其二 Network Compression (Knowledge Distillation)李宏毅作业七其一 Network Compression (Architecuture D

2020-12-01 14:13:42 1109 4

原创论文小结——基于聚类演化随机森林的阿尔兹海默症的多模态数据分析

系列文章目录提示：这里可以添加系列文章的所有文章的目录，目录需要自己手动添加例如：第一章 Python 机器学习入门之pandas的使用基于聚类演化随机森林的阿尔兹海默症的多模态数据分析系列文章目录前言一、全局总览二、使用步骤1.引入库2.读入数据总结前言这篇博客只是我总结自己对这篇论文的理解，还存在许多理解不到位和理解错误的地方，还请大家批评和指正。这篇论文题目为：Multimodal Data Analysis of Alzheimer’s Disease Based on Clus

2020-11-30 15:28:01 2802 2

原创 VGG Convolutional Neural Network Practical

系列文章目录VGG Image Classification Practical提示：写完文章后，目录可以自动生成，如何生成可参考右边的帮助文档Convolutional Neural Network Practical系列文章目录前言一、准备工作1.环境2.加载准备模块二、CNN的构建1.卷积2.非线性激活函数3.池化4.归一化二、CNN的构建总结前言根据VGG教程里的简介，我们可以很清楚的知道关于CNN的以下知识：卷积神经网络是一类重要的深度学习网络，适用于许多计算机视觉问题。特别是，

2020-11-29 11:31:22 831

原创 VGG Image Classification Practical

VGG Image Classification Practical提示：这里可以添加系列文章的所有文章的目录，目录需要自己手动添加例如：第一章 Python 机器学习入门之pandas的使用提示：写完文章后，目录可以自动生成，如何生成可参考右边的帮助文档VGG Image Classification PracticalVGG Image Classification Practical前言一、加载绘图模块二、三种分类器1.数据准备2.训练摩托车分类器3.对测试图像进行分类并对其性能进行评估4.

2020-11-28 18:35:13 750

原创李宏毅作业十 Generative Adversarial Network生成对抗网络(代码)

Generative Adversarial Network 生成对抗网络前言一、生成对抗网络1.生成对抗网络是什么2.数学公式二、代码1.下载数据2.数据预处理3.随机种子4.模型5.准备训练6.训练开始7.使用生成器生成图片总结前言本篇以代码为主，不过多涉及理论。平台colab，语言python一、生成对抗网络1.生成对抗网络是什么生成对抗网络中包含了两个模型，一个是生成模型G，另一个是判别模型D，下面通过一个生成图片的例子来解释两个模型的作用：生成模型G：不断学习训练集中真实数据的概

2020-11-20 18:18:10 1706 3

原创李宏毅作业九 Anomaly Detection异常检测

Anomaly Detection异常检测前言一、异常检测？任务：半监督训练中的异常检测标签：二、代码1.加载数据与环境2.异常检测算法@KNN@PCA3.模型和损失4.训练5.验证总结前言本篇不涉及过多理论，半监督训练的异常检测其实就是在同时含有标注数据和未标注数据的训练集中学习模型。闲话少说，理论过完，看了代码基本就知道到底是怎么实现的了。一、异常检测？半监督的异常检测：即从同时含有标注数据和未标注数据的训练集中学习模型。在监督学习中，因为训练集全部已经标记了，所以我们的兴趣点通常是在未来测

2020-11-18 15:31:07 1584 11

原创 vs 上 pytorch安装问题

前言唯有日夜兼程披星斩棘方能到达梦的彼端记录一点一滴，才能聚沙成塔。项目场景：使用vs2019，在虚拟环境中，python安装pytorch安装不上去的问题。共两个问题。ERROR: Command errored out with exit status 1:Traceback (most recent call last):问题描述：在我自己创建的虚拟环境中，直接在vs内的环境包窗口安装pytoch失败，然后转到命令窗口还是安装不上去。本人也就是小白，所以从网上搜寻方法组合解决

2020-11-14 15:57:28 1261

原创基于多模态成像遗传学数据来预测帕金森病相关基因和大脑区域的新型CERNNE方法

基于多峰成像遗传学数据的帕金森病相关基因和大脑区域预测的新型GERNNE方法前言阅览文章之前记得一键三联哦，做文章不容易，十分感谢大家的鼓励。一、提纲1.概述2.学术简称二、背景与问题1.背景2.问题三、目标与步骤1.目标2.步骤四、方法与创新点1.多峰数据集和预处理2.提取融合特征3.pearson相关分析方法4.GERNNE二、使用步骤二、使用步骤总结前言这几天在看一篇论文，想和大家分享一下。阅览文章之前记得一键三联哦，做文章不容易，十分感谢大家的鼓励。这里我只是用自己的话简单概括了文章的大.

2020-11-12 15:24:34 1321 7

空空如也

空空如也