深度学习
文章平均质量分 82
任博啥时候能毕业?
吾日三省吾身,今天学习了吗?博客更新了吗?能毕业了吗?
展开
-
Gradio的Dataframe数据显示不全,例如只能显示前15行数据
Gradio的Dataframe数据显示不全,仅显示部分数据原创 2024-05-06 12:27:20 · 1156 阅读 · 0 评论 -
如何彻底卸载CUDA?
如何彻底卸载CUDA?原创 2024-01-09 13:48:18 · 1420 阅读 · 0 评论 -
CUDA安装一直卡在检查系统兼容性,或花费极长的时间检查兼容性,但最后显示NVIDIA安装程序失败
CUDA安装一直卡在检查系统兼容性,或花费极长的时间检查兼容性,但最后显示NVIDIA安装程序失败原创 2024-01-09 13:37:59 · 2907 阅读 · 1 评论 -
stylegan3:Setting up PyTorch plugin “bias_act_plugin“... Failed或“upfirdn2d_plugin“... Failed
stylegan3:Setting up PyTorch plugin "bias_act_plugin"... FailedSetting up PyTorch plugin "upfirdn2d_plugin"... Failed原创 2023-02-23 23:25:29 · 6862 阅读 · 11 评论 -
电脑装了pytorch没有安装cuda,nvcc -V没反应,但能正常使用gpu
综上,如果driver API和runtime> API的CUDA版本不一致可能是因为你使用的是单独的GPU driver installer,而不是CUDA Toolkit installer里的GPU driver installer。CUDA有两个主要的API:runtime(运行时) API和driver API。发行版时的当前默认版本,它使用最新最好的虚拟化技术在轻量级实用工具虚拟机 (因为深度学习的原因,相信很多人都是在一块硬盘上面装双系统,如。的时间,这不变成了傻瓜式深度学习环境安装?原创 2023-02-15 14:32:32 · 4066 阅读 · 5 评论 -
Tensorflow 2.5 model.evaluate报错Invalid argument: required broadcastable shapes at loc(unknown)
Tensorflow 2.5使用model.evaluate进行模型评估时报错Invalid argument: required broadcastable shapes at loc unknown原创 2022-09-01 14:16:50 · 6259 阅读 · 0 评论 -
Tensorflow 2.3 model.evaluate报错InvalidArgumentError: Incompatible shapes: [1,64] vs. [1,128]
Tensorflow 2.3使用model.evaluate进行模型评估时报错tensorflow.python.framework.errors_impl.InvalidArgumentError: Incompatible shapes: [1,64] vs. [1,128]原创 2022-09-01 14:15:05 · 6279 阅读 · 0 评论 -
UnicodeDecodeError: ‘utf-8‘ codec can‘t decode byte 0xd5 in position 337: invalid continuation byte
Tensorflow `UnicodeDecodeError: 'utf-8' codec can't decode byte 0xd5 in position 337: invalid continuation byte`原创 2022-08-21 18:16:25 · 6417 阅读 · 0 评论 -
文字生成图片:输入描述语,人工智能自动帮你绘图!
根据你的输入,人工智能自动生成图片原创 2022-08-17 21:31:09 · 10796 阅读 · 2 评论 -
Keras:ModelCheckpoint和model.fit的verbose有什么差异?
Keras:ModelCheckpoint和model.fit的verbose有什么差异?原创 2022-08-14 14:00:14 · 3481 阅读 · 0 评论 -
Keras自定义损失函数出现:ValueError: Unknown loss function: focal_loss
最近需要用到自定义的来处理样本不平衡的问题:训练的时候没有问题,但当使用加载训练好的模型进行预测时:出现报错:,即:这个报错很明显了,找不到我们自定义的,故而引发报错,那这个时候又该怎么办呢?这是因为在保存模型时,会保存训练时候的一切东西,包括、、等,但由于这个函数是我们自定义的,并不在系统自带的函数中,我们下次重新加载的时候,自然就找不到这个,故引发了。早就想到了这点,因此可以在中通过参数传入自定义的类或者函数:因此,我们只需要将通过传入即可:4.结果预览可以看到模型成功被正确加载:原创 2022-07-12 15:53:34 · 7265 阅读 · 3 评论 -
APScheduler如何设置任务不并发(即第一个任务执行完再执行下一个)?
APScheduler如何设置任务不并发(即第一个任务执行完再执行下一个)?原创 2022-07-01 21:31:22 · 8401 阅读 · 1 评论 -
Windows程序意外挂掉,但显存依然被占用
Windows系统,在不重启电脑的情况下,释放意外挂掉的程序占用的显存。原创 2022-06-14 13:55:27 · 7643 阅读 · 6 评论 -
取消打印Tensorflow中的无用信息,如tensorflow:AutoGraph could not transform <*> and will run it as-is、加载CUDA信息等
取消打印Tensorflow中的无用信息,如WARNING:tensorflow:AutoGraph could not transform bound method BatchNorm.call of model.BatchNorm object at 0x0000021764BB9F60 and will run it as-is、加载CUDA信息等原创 2022-05-25 20:25:41 · 9869 阅读 · 2 评论 -
Python:使用pandas按某一给定的txt进行排序
最近使用Keras参加了一个深度学习方面的图像分类比赛,在结果提交的过程中,要求按照所给的TXT进行排序,然后提交结果:但是问题来了,在test这个文件夹中图片的顺序和test.txt的顺序居然不一样!,并且就算是一样的,在使用keras的flow_from_directory函数批量读取匹配的时候,顺序也会发生变化!因此,必须实现一种方法,将预测结果按照test.txt的顺序进行排列。一张图概括...原创 2018-05-09 19:42:59 · 11469 阅读 · 0 评论 -
win10下安装Tensorflow1.7+CUDA9.0+Cudnn7.0.3
最近看到CUDA9.0对比之前的CUDA8.0速度有了明显的提升,所以想尝尝鲜,安装之后,训练和预测的速度均有很大的提升:有需要安装我这个版本的不妨可以参考参考!1.安装前的准备:a.Visual Studio 2013, 2015 ,2017任意一个版本b.Anacondac.更新一下你的pipd.python版本3.5+e.最重要的:Tensorflow有两个版本:GPU和CPU版本,CPU的...原创 2018-04-17 11:30:56 · 15993 阅读 · 1 评论 -
Python:设置不显示Using TensorFlow backend及FutureWarning: Passing (type, 1) or ‘1type‘ as a synonym of typ
1.问题背景我们知道,Python在导入Keras的时候会打印目前使用的后端框架的名称:Using TensorFlow backend.进一步的,如果numpy与tensorflow版本需要的numpy不一致,还会打印警告:FutureWarning: Passing (type, 1) or '1type' as a synonym of type is deprecated; in a future version of numpy, it will be understood as (type原创 2022-04-28 18:01:53 · 14907 阅读 · 4 评论 -
PIL报错:TypeError: Cannot handle this data type: (1, 1, 3), <f4及解决Image.fromarray保存后的结果是纯黑的图片
PIL报错:TypeError: Cannot handle this data type及解决Image.fromarray保存后的结果是纯黑的图片1.问题背景2.解决办法2.1.解决`Image.fromarray()`保存图片报错2.2.解决保存后的结果是纯黑的图片1.问题背景今天需要将内存中的ndarray保存为本地图像,使用了PIL的Image.fromarray函数,具体代码如下:from PIL import Imageimport osimport uuidimg_file =原创 2022-04-25 16:05:10 · 26938 阅读 · 8 评论 -
ImportError: _C.cpython-36m-x86_64-linux-gnu.so: undefined symbol: _ZN2at4_ops6narrow4callERKNS_6Ten
一.问题描述 最近在使用Detectron2进行目标检测相关的工作,因为Ubuntu电脑上有之前cuda的安装包,偷了个懒,没有按照Detectron2、cuda、pytorch、python的对应关系:直接就使用该cuda(11.3)安装包进行cuda的安装,然后接着偷懒,发现Detectron2有已经有预编译的包(如果是自己从源码编译,大概率不会出现本文描述的错误,可以右上角关闭本文了),便直接使用pip进行Detectron2的安装:python -m .............原创 2022-03-24 17:05:42 · 15860 阅读 · 0 评论 -
Win10安装DBeaver 21.1 Enterprise用于连接MongoDB等NoSQL类型数据库
1.背景最近需要使用omniboard进行训练细节的记录,这个工具要和MongoDB一起使用,MongoDB自带的compass没有使用过,还是喜欢使用之前工作使用的DBeaver,但是之前使用的是社区版,并不提供对NoSQL类型数据库的支持,而商业版是可以支持的,固有了今天这篇博客。2.下载所需的所有软件包①DBeaver,网速不好的同学可以下载我上传到CSDN的版本:②③JDK113.激活步骤打开...原创 2021-08-22 13:23:16 · 12535 阅读 · 0 评论 -
Keras:KeyError:‘Failed to format this callback filepath:{val_loss:.4f}.h5. Reason: \‘val_loss\‘‘
如果你使用Keras 的ImageDataGenerator来进行图像增强,如下:validataion_generator = validation_datagen.flow_from_directory(validation_dir, target_size=target_size,原创 2021-08-07 16:12:45 · 8623 阅读 · 0 评论 -
Win10出现ModuleNotFoundError: No module named ‘win32con‘和No module named ‘antlr4‘
紧接上篇文章WIN10安装基于Pytorch1.8.1、Cuda11.1.1的Detectron2(0.1或0.4.1),安装完detectron2后,运行测试demo:python demo/demo.py --config-file configs/COCO-InstanceSegmentation/mask_rcnn_R_101_FPN_3x.yaml --input predict\input\1.jpg --output predict\output --opts ........原创 2021-07-03 12:25:19 · 9819 阅读 · 0 评论 -
Win10安装Detectron2(0.1或0.4.1,基于Pytorch1.8.1、Cuda11.1.1)
1.安装cuda和对应的cudnn 这部分略过,可以参考我的这篇文章:https://blog.csdn.net/qq_15969343/article/details/118356863?spm=1001.2014.3001.5501 需要注意安装的时候需要查看https://detectron2.readthedocs.io/en/latest/tutorials/install.html的环境要求,我这边直接安装最新的cuda11.1.1+cudnn8.2.........原创 2021-07-02 16:32:43 · 11674 阅读 · 18 评论 -
Pyinstaller打包TensorFlow-GPU程序出现:No module named ‘tensorflow.python._pywrap_tensorflow_internal
1.问题背景最近需要将之前基于TensorFlow-GPU写的深度学习分类程序分发给其他同事使用,但众所周知,深度学习的配置较为麻烦,因此在想能否程序打包,直接运行即可?python下面的打包库有很多,为了保险起见,没有选较为新潮的打包库,而是选择了老牌的Pyinstaller进行打包,然后就有了这篇博客。2.问题分析Pyinstaller有主流的两种打包方式:打包成文件夹(-D)或一个独立的文件(-F),强烈建议将程序打包为文件夹,不要打包为.........原创 2021-06-30 16:42:46 · 9003 阅读 · 0 评论 -
WIN10安装多个版本的cuda及cudnn并自动切换
由于需要兼容老版本代码,又想体验新的cuda带来的速度提升,固有如题目中所述需求。具体操作步骤如下:1.下载cuda及cudnn安装包 cuda下载链接:https://developer.nvidia.com/cuda-toolkit-archive cudnn下载链接:https://developer.nvidia.com/zh-cn/cudnn 注意:需要英伟达账号,且cudnn需要和CUDA版本匹配起来,如我这边下......原创 2021-06-30 11:18:07 · 10555 阅读 · 1 评论 -
Mask_RCNN训练自己的数据——制作COCO格式的数据集
matterport版mask_rcnn系列: 1.Mask_RCNN训练自己的数据 2.目标检测:使用Open_cv在图像上批量画bounding box 3.Mask_RCNN:使用COCO权重进行特定类别预测(只标记出你需要的类别) 4.Mask_RCNN:ValueError: Dimension 1 in both shapes ...............原创 2020-12-01 09:39:54 · 39532 阅读 · 70 评论 -
Mask_RCNN训练自己的数据,标注工具Labelme的使用说明
#2018/05/04 更新由于labelme的数据预处理过程还是太繁琐,现在换成了类似于COCO数据集注释的方式(JSON文件):https://blog.csdn.net/qq_15969343/article/details/80167215#以下为原文该Mask_RCNN版本为基于:Python3,Keras,TensorFlow,我使用的具体版本为:Python 3.6.3TensorF.........原创 2018-04-07 13:21:57 · 29811 阅读 · 36 评论 -
Keras:融合不同的模型并使用自己的数据进行fine-tuning及预测(二)
上篇文章我们已经训练且得到了可以用于分类的模型:那么接下来如何预测呢?其实,大体上预测和训练和差不多的,因此你可以对照训练的时候来写预测程序!核心思想:在训练的时候用了几个模型来融合,测试的时候就用几个;并且模型融合的顺序是不能变的!一.提取特征a.修改保存特征代码对测试图片也是需要提取特征的,但是这个时候是没有label标签的,标签就是需要我们预测的,因此保存为H5时,应修改代码为: te...原创 2018-04-17 18:33:16 · 90 阅读 · 0 评论 -
Keras:融合不同的模型并使用自己的数据进行fine-tuning及预测(一)
一.系统环境及工具:在使用之前深度学习对图片进行分类时,你首先需要检查一下你的软件环境是否满足!该教程为基于:Python3,Keras,TensorFlow,在文章末尾我给出了完整的代码,但是细节请大家知悉!我使用的具体版本为:Python 3.6.3TensorFlow 1.7(安装TensorFlow 1.7可以参考我之前的博客win10下安装Tensorflow1.7+CUDA9....原创 2018-04-17 15:11:59 · 230 阅读 · 0 评论 -
格式化打开JSON数据以及Notepad++没有插件管理器(Plugin Manager)的解决方法
最近在复现Mask RCNN,下载了对应的COCO数据集之后,好奇想看一下是如何进行标注的;因此打算查看一下对应的annotations文件,该文件为.JSON格式,网上查询了一下可以使用Notepad++的插件进行打开。话不多说,先下载该软件,因为64位的Notepad++是没有插件管理器的,因此装32位吧!链接如下:点击打开链接下载之后直接安装到底,然后会发现在“插件”那一栏下面,并没有插件管...原创 2018-04-04 15:07:49 · 11254 阅读 · 0 评论 -
从github下载开发者版本的源码进行编译安装scikit-image(0.14)
有时候,我们会在尚未发布的开发者版本中,发现某些包中有添加了许多令人惊奇的新功能,例如图片处理库scikit-image(0.14),目前为止,发行的最新版本为:0.13.1,其中的draw模块中只能画polygon而不能直接画矩形,但是0.14版本就添加了画矩形的功能,但是目前0.14版本的scikit-image还没有现成的.WHL,只能下载github上的源码进行编译,从而安装该开发者版本!............原创 2018-04-16 11:23:33 · 15295 阅读 · 5 评论 -
类别名称转换为一一对应的数字标签
在某些时候,例如使用mask_RCNN进行目标检测时,对每一幅图上有多个标记样本,那么就需要将类别的名字转换为数字标签传入到分类器中,比如,用颜色来举例:'blue'=1'yellow'=2'red'=3我们在输入类别的时候,不能输入['blue','yellow','red'],因为在里面进行计算LOSS,反向传播等等,都是利用数字在进行计算,而且不仅仅只有['blue','yellow','r...原创 2018-04-16 11:00:08 · 10902 阅读 · 0 评论 -
could be decompression bomb DOS attack
在使用Keras训练模型的时候,需要从文件夹中读取一系列的图片,由于Keras在将图片输入模型中时,使用的是PIL来进行导入,在我的样本中有一些很大图片,例如卫星影像,大尺寸地图等;由于超过了PIL尺寸的限制,会报错:DecompressionBombWarning: Image size (139332960 pixels) exceeds limit of 89478485 pixels, c...原创 2018-04-14 23:40:01 · 12365 阅读 · 3 评论 -
16位图像转换为8位图像(c++,python)
如之前所说,我们需要将16位图像转换为8位图像;16位图像的像素值一共有:2^16=65536种颜色;而8位位图像只有:2^8=256种颜色,传统的位数转换都是:像素值*256/65536,比如photoshop,以及matlab的im2uint8函数都是如此,在一般场景下是没有问题的,我们姑且称之为“真转换”,而如果是labelme得到的label.png标注图像在进行转换时,由于每个类别的像素...............原创 2018-04-07 15:05:11 · 50503 阅读 · 24 评论 -
python setup.py egg_info failed with error code 1以及error: Microsoft Visual C++ 14.0 is required
系统环境如下:Win10 1709 教育版Anaconda3-5.0.1-Windows-x86_64.exePython是Anaconda中自带的3.6.3最近在WIN10上面用pip和conda安装scikit-image时,先是出现"python setup.py egg_info" failed with error code 1然后出现:error: Microsoft Visual ...原创 2018-03-15 11:19:28 · 9390 阅读 · 0 评论 -
NASNet: You are trying to load a weight file containing 532 layers into a model with 526 layers.
如题,如果你在使用NASNetLarge时,遇到该问题:你肯定会很奇怪为什么官方给出的预训练权重不能加载到模型中去,这个报错显示的意思是模型和训练权重的层数不匹配,一个是532个layers一个是523个layers;解决办法:一、先不使用预训练权重,使用随机权重来初始化模型:base_model = NASNetLarge(weights=None, include_top=False)二、使用...原创 2018-05-21 09:42:51 · 11747 阅读 · 3 评论 -
Mask_RCNN:使用自己训练好的模型进行预测
今天我们来说一下,如何使用自己训练出来的Mask_RCNN模型,或是官方自己的模型权重来进行预测:该Mask_RCNN版本基于:Python3,Keras,TensorFlow,我使用的具体版本为:Python 3.6.3TensorFlow 1.7Keras 2.1.5tensorflow安装:https://blog.csdn.net/qq_15969343/article/details/7.........原创 2018-05-21 10:13:43 · 27060 阅读 · 119 评论 -
TypeError: Cannot interpret feed_dict key as Tensor: Tensor Tensor(“Placeholder:0“, shape=(3, 3, 3,
使用Flask部署TensorFlow应用到服务器上时,多次重复调用后,出现如下错误:[2019-08-20 10:50:49,807] ERROR in app: Exception on / [POST]Traceback (most recent call last): File "C:\ProgramData\Anaconda3\lib\site-packages\tenso......原创 2019-08-20 10:58:55 · 14200 阅读 · 9 评论 -
Keras:使用预训练模型迁移学习单通道灰度图像
目录1. 问题引出 2. 解决方案2.1. 直接使用convert将L转为RGB2.2. 数组拼接方法3. 多进程加速运行4.使用预训练模型训练1. 问题引出 最近在做一个图像分类的项目,由于性能比较差,因此需要尝试将彩色图转为灰度图进行训练,从而屏蔽掉颜色对分类结果的影响而着重关注纹理、结构等信息。由于样本数量较少,只有几百张的样子,如果......原创 2018-12-01 15:01:37 · 18617 阅读 · 9 评论 -
Detectron:训练自己的数据集——将自己的数据格式转换成COCO格式
Detectron系列: Detectron:assert len(cfg_list) % 2 == 0 AssertionError Detectron:用自己训练好的模型进行测试 1.前情提要 Fackbook的开源检测框架Detectron已开源了一段时间:https://github.com/facebookresearch/De...............原创 2018-06-28 20:14:04 · 47301 阅读 · 28 评论