Python
文章平均质量分 67
Troye Jcan
signal、CTG、CV
展开
-
#Pytorch 使用DDP训练第一轮,验证后第二轮卡住
问题:在使用DDP分布式训练的时候,在第一轮训练后验证结果,在第二轮开始时就卡住了。,所以只有第一个GPU跑了验证,在第二轮时只有第一个GPU的模型在,其他卡的模型都被阻塞住了。解决方法:在验证时不要使用。,这样就可以顺利运行了。原创 2024-01-19 16:16:38 · 1071 阅读 · 0 评论 -
#pytorch 安装pytorch-fast-transformers报错:PermissionError: [Errno 13] Permission denied: ‘nvcc‘
包,试了好多命令都会报下面这个错误,试过加sudo,但是sudo会把这个包装在linux的python中,并不是在我这个虚拟环境(babel)中的,所以还是没得用。这条命令不能运行呢?我已经用chmod给我加了权限了,但还是这样。于是果断去百度找找怎么才能运行。可以,然后再重新跑了一下安装。后来想了想,会不会是因为。原创 2023-07-03 15:05:08 · 745 阅读 · 0 评论 -
#Python&Pytorch 2.如何对CTG特征数据建模
将上一篇《如何入门深度学习模型》中的例子修改到可以使用UCI-CTG的特征数据进行建模,本文通过对比前文的例子与实际的例子,较为清晰地讲解了如何使用特征数据进行建模。原创 2023-04-24 17:58:39 · 801 阅读 · 2 评论 -
#Python&Pytorch 1.如何入门深度学习模型
如何入门深度学习,本文用一个简单的小例子说明了如何创建数据集、构建模型、如何编写训练代码和验证代码,同时还有torch使用的几个小技巧原创 2023-04-21 16:56:52 · 915 阅读 · 0 评论 -
#python PyCharm运行graphviz,torchviz.make_dot报错:failed to execute WindowsPath(‘dot‘)
想用torchviz.makr_dot画一下模型结构图,但是使用graphviz老是会报这个错误。查了一下后参考了这位博主的。,但还是报了下面这个错,突发奇想,会不会是因为PyCharm没有权限读不到这个dot.exe?遂用管理员方式打开Anaconda Prompt,进入路径和虚拟环境后运行代码,居然成了。原创 2023-02-22 12:03:18 · 486 阅读 · 0 评论 -
#Python&Pytorch 图片和谐化模型——BargainNet
BargainNet是bcmi的一个项目。具体项目介绍见GitHub链接。出于各种原因需要使用BargainNet,因为有些不习惯用命令行启动训练模型,所以将里面使用的默认模型、参数直接提取出来,简化成了简单的“读取数据”和“训练模型”两个文件。应该就这样了对模型有疑问的建议去看论文问作者,我只是代码的搬运工。......原创 2022-07-28 11:30:27 · 932 阅读 · 1 评论 -
#Python&Keras 1.如何从无到有在自己的数据集上实现深度学习模型(入门)
本文主要介绍深度学习模型的构建方法, 讲解过程比较详细,使用的网络层也比较简单,如果安装了TensorFlow的朋友可以直接运行代码输出对应结果。 本文使用对信号数据进行建模为例,简要介绍了数据输入模型的方法,并对Sequential和Model两种搭建方式进行讲解,之后使用numpy生成的随机信号进行训练,得到结果,并使用sklearn中的confusion matrix和classification report对真实标签和预测标签进行度量,是一个较为完整的深度学习模型构建教程。原创 2022-01-09 21:36:19 · 1380 阅读 · 3 评论 -
#Python 随手记 使用isinstance判断数据是否为NoneType类型
当我们在进行爬虫的时候,有时候会爬取不到数据,也就是data为NoneTypedata = response.select_one("#detail > div.tab-con > div:nth-child(2) > div.Ptable > div")text = [i for i in data.get_text().replace("\r", "").replace("\t", "").split("\n") if i != ""]一般来说都要给他加一个判断条件,非常原创 2021-12-21 10:12:17 · 2444 阅读 · 0 评论 -
#Python sklearn UCI-CTG数据做机器学习算法之GBDT(三分类)
接触CTG数据很久了,今天突然想起来之前刚入门的时候几乎所有的机器学习模型用的数据集都是iris、horse,现在就用CTG的数据来跑一下吧,就当是帮助一些医学类机器学习算法的人提前入门。CTG的数据直接点击下载就好了,下载后看表的说明,把那一部分截下来拿一个csv文件存起来就好了,然后把有空白格的那一行删掉就好了。# -*- coding: utf-8 -*-import numpy a...原创 2020-03-01 18:27:45 · 1738 阅读 · 0 评论 -
#Python 报错 AttributeError: ‘NoneType‘ object has no attribute ‘loader‘
打开anaconda prompt 之后会有一大串类似下面的错误,虽然prompt还能用,但是看着糟心(没图,因为问题解决了)Error processing line 1 of C:\ProgramData\Anaconda3\lib\site-packages\matplotlib-3.1.0-py3.6-nspkg.pth: Traceback (most recent call last): File "C:\ProgramData\Anaconda3\lib\site.py",原创 2021-11-08 16:49:49 · 1185 阅读 · 0 评论 -
#Keras Invalid reduction dimension 2 for input with 2 dimensions.
在跑Bert-CRF的时候发现公司的电脑带不动,就把Bert改成了BiLSTM,因为之前没有试过中文命名实体识别的代码,所以出了一个小失误…花了半天才发现(这里用了(双向)最大熵隐马尔可夫模型,作用和用法都类似CRF,但是比CRF更快更简单。)原代码如下: input_id = Input(batch_shape=(None, None), ) x = Embedding(21128, 8)(input_id) x = Bidirectional(LSTM(256))(x) x原创 2021-07-20 10:05:13 · 1122 阅读 · 0 评论 -
#Python 如何快速一步安装tensorflow-gpu(不用各种配置)
之前入坑tensorflow的时候看着百度上的各种安装教程,装了整整一个星期,看到终端上终于打出“Hello World”,我开心的跟中了奖似的。之前tensorflow的GPU版一直下一直配置不成功,GeForce、CUDA一直出现问题,百度了很久也是没有解决方法。然后直接去了anaconda的官网,看了tensorflow的安装教程,前面一大堆英文就跳过了,直接看命令。发现就一句命令…还...原创 2020-04-17 15:11:51 · 1247 阅读 · 0 评论 -
#keras 随手记 InvalidArgumentError: indices[0,10] = -2147483648 is not in [0, 300000)
随手记使用embedding层嵌入数据是报一下错误:InvalidArgumentError: indices[0,10] = -2147483648 is not in [0, 300000) [[node functional_1/embedding/embedding_lookup (defined at F:\Python\Bert-ner\Model.py:47) ]] [Op:__inference_train_function_11722]Errors may have orig原创 2021-03-22 14:30:57 · 1617 阅读 · 0 评论 -
CTU-UHB Intrapartum Cardiotocography Database 产时CTG信号数据下载与读取(2021.7.9 新增阿里云盘下载)
CTU-CHB 信号数据提取(附下载链接)原创 2021-03-17 15:42:50 · 2926 阅读 · 6 评论 -
Keras 报错When using data tensors as input to a model, you should specify the steps_per_epoch argument
报错解决:valueError: When using data tensors as input to a model, you should specify the steps_per_epoch argument.Keras小白开始入手深度学习的时候,使用Sequence()建模的很舒服,突然有一天要使用到Model()的时候,就开始各种报错。from keras.models import Sequentialfrom keras.layers import Dense, Activatio原创 2021-02-25 17:22:57 · 7059 阅读 · 5 评论 -
#机器学习 随机划分的指标情况
目录需求分析需求一、随机划分二、指标结果1.引入库2.读入数据3.结果展示4.雷达图总结需求分析做毕设的时候发现需要用到各个评价指标的随机划分时的数值,所以就简单列了两个 y_pred 和 y_true 的列表后,调用sklearn的指标包进行计算。需求在做机器学习的多模型对比时,需要对各个模型在同个数据集上的评价指标进行对比,以凸显主打模型的优势,其中,对指标结果进行可视化是最直观的。在毕业设计中,为了凸显模型的优越性,使用雷达图对模型指标进行评判,由于有些模型的性能较差,为了更好的展示模型效原创 2021-01-16 20:41:30 · 215 阅读 · 0 评论 -
#Python 图像预处理——依据图像的四点进行透视
目录写在前面需求步骤代码写在前面使用python对图像进行透视校正的代码现在有很多了,我这个也是借鉴了某一个博客里面的代码,因为我也是刚入门,还有好多东西都不明白,只能做到哪就学到哪,所以如果出现了错误请批评指正!谢谢朋友们[狗头]!需求将原本倾斜的物体通过透视校正步骤步骤一 选择图片,更改GetPoint.py文件路径,点击图片中比萨斜塔的四个顶点后会自动更改图片的名称,自动标点如图中的红圈表示:步骤二 更改Reset.py代码中的图片路径,运行代码(记得加.jpg)步骤三原创 2020-12-08 17:30:48 · 1042 阅读 · 2 评论 -
#Python 将类别特征转换为特征(即将特征列转换为行特征)
抛出问题倘若现在我们有以下的表格,我们要使用机器学习的模型对它进行建模分析(标签未列出),然后看到这些文字特征我们首先第一反应就是对它进行One-Hot处理。城市食品饮品广州牛奶果汁深圳面包椰汁北京烤鸭二锅头武汉热干面牛奶汕头牛肉丸牛肉汤One-Hot后的结果就变成了城市食品饮品000100010100001000100010001100110011010001000001原创 2020-10-14 16:23:22 · 638 阅读 · 0 评论 -
#Python Keras xaiver初始化
百度了半天Keras的xaiver初始化,导出都找不到,结果才发现那玩意在Keras的中文官方文档里面有,白费心思了,就顺手记下来吧。import keraskeras.initializers.glorot_normal(seed=None)Glorot 正态分布初始化器,也称为 Xavier 正态分布初始化器。它从以 0 为中心,标准差为stddev=sqrt(2/(fanin+fanout)).stddev= sqrt(2 / (fanin + fanout)).stddev=sqrt(原创 2020-09-12 22:19:17 · 1082 阅读 · 1 评论 -
【翻译】如何诊断lstm模型的过拟合与欠拟合
原文地址It can be difficult to determine whether your Long Short-Term Memory model is performing well on your sequence prediction problem.很难确定您的LSTM模型在序列预测问题上是否表现良好。You may be getting a good model skill score, but it is important to know whether your model翻译 2020-09-05 17:12:00 · 4009 阅读 · 0 评论 -
#Python tensorflow中getbatch函数(yield实现),不会stopinteraction
在深度学习的入门教程中,很多深度学习的模型都是用手写数字mnist数据集进行训练的,在使用过程中通常都有一个batch的分批处理,类似这个:这个next_batch函数是tensorflow中的函数,我们直接找源码过去copy也不太现实,我们就按照大概的方法写一个,如下:def get_batches(x, y, n_batches): batch_size = len(x) // n_batches ii = 0 while ii < n_batches * batch_size:原创 2020-08-21 17:44:58 · 1669 阅读 · 2 评论 -
#Python Spyder4设置tab键为tab而不是四个空格
spyder4的设置与之前的不太一样,tab键的设置在tool->preferences->Editor里面,如图,最底下的两个设置,Tabulations和4spaces。这样设置之后的spyder里面,点击tab显示的是:红框的为点击tab;黄框的为连击4个空格。我的spyder为4.1.3...原创 2020-08-13 12:47:12 · 3499 阅读 · 0 评论 -
#机器学习 Micro-F1和Macro-F1详解
micro-F1和macro-F1详解F1-score:是统计学中用来衡量二分类模型精确度的一种指标,用于测量不均衡数据的精度。它同时兼顾了分类模型的精确率和召回率。F1-score可以看作是模型精确率和召回率的一种加权平均,它的最大值是1,最小值是0。.原创 2020-04-26 22:22:16 · 61572 阅读 · 21 评论