- 博客(24)
- 收藏
- 关注
RSS订阅原创 关于batch size/epoch/dataloader
假设训练集有8张图像，batch_size=4,epoch=2,那么每次训练，dataloader迭代器将会送1个tensor（4张图像）的数据，送2次即完成了整个训练集的遍历，即1个epoch。通常 dataloader 中可设置 batch size，dataloader会将图像进行一个打包成tensor加快训练。
2024-03-04 15:22:47
454
原创 png图像颜色模式：灰度、索引、rgb
在调色板颜色模式中，图像的颜色信息存储在一个调色板中，调色板是一个包含颜色映射关系的表格。通过将索引与调色板中的颜色进行映射，可以恢复出完整的彩色图像。需要注意的是，索引颜色模式经常用于减小图像文件的大小，特别是在需要存储具有有限颜色范围的图像时，例如简单的图标、标识或动画。链接中述，png图像有5种灰度，真彩色rgb，索引色，带alpha通道的灰度，带alpha通道的真彩色rgb。经过测试，显示为全黑的png图像颜色模式为灰度颜色模式，显示为彩色的png图像颜色模式为索引颜色模式。在下面这个链接中的第。
2024-02-25 00:23:37
906
原创 numpy(1)：矩阵切片布尔矩阵
等）来执行不同的判断操作。根据需要，您可以使用布尔索引选择和替换矩阵中满足特定条件的元素。NumPy提供了强大的切片功能，可以根据需要选择矩阵的特定行、列或子矩阵。要在NumPy中对矩阵元素进行判断和替换，您可以使用条件判断和布尔索引。选择满足条件的元素。最后，我们将选中的元素替换为新的值0。要在NumPy中进行矩阵切片，您可以使用索引和切片操作符。表示矩阵中对应位置的元素大于5。然后，我们使用布尔索引。在上面的示例中，我们首先使用条件判断。您还可以使用其他条件判断操作符（如。来创建一个布尔数组，其中。
2024-01-30 23:43:42
466
原创 AttributeError: module ‘numpy‘ has no attribute ‘typeDict‘
可能是由于之前尝试在此环境安装tensorflow导致有些第三方包版本变了，追悔莫及，哭了，千万不要在pytorch环境安装tensorflow。总之，这个问题可能是由于使用不兼容的库版本或者旧版本的特性引起的。确保你的库版本是最新的，并检查代码中是否有使用了旧版本特性的地方。也就是numpy的版本过旧， 但是根据之前环境的备份，numpy的版本未变。使用原有代码，原来的环境，发现竟报错，大抵是后来环境发生了变化。到最新版本，或者在代码中显式指定使用较新版本的。库到最新版本，以确保你使用的是兼容的版本。
2024-01-29 13:52:13
2510
原创 模型调试记录 ImportError: `save_weights` requires h5py when saving in hdf5.
训练中报错 ImportError: `save_weights` requires h5py when saving in hdf5.这个模型使用的是tensorflow框架，因此单独开了一个环境，借用了一个成熟的tensorflow环境。大概是在训练完成后保存权重时出现错误，可能是 h5py 这个包有错。
2024-01-24 12:22:34
491
1
原创 pytorch和tensorflow最好不要使用同一个环境
综上所述，虽然可以在同一个环境中使用PyTorch和TensorFlow，但为了避免潜在的问题和弊端，通常建议将它们分别安装在独立的环境中。你需要处理两个不同的API和框架的细节，可能需要编写额外的逻辑来适配两个框架之间的差异。：PyTorch和TensorFlow都是较大的库，它们会占用一定的系统资源，包括内存和GPU。：PyTorch和TensorFlow可能具有相同或相似的函数或类名，如果同时在代码中使用这些框架，可能会导致命名冲突，使代码难以编写和维护。
2024-01-23 17:20:43
1846
1
原创 CUDA安装记录
上述python命令的结果并不可靠，存在还没有安装CUDA的时候输出为TRUE的情况，所以还是需要安装CUDA。这只是一个常见的对应列表，具体的支持版本可能会有所变化。此外，新版本的 PyTorch 可能会支持较旧版本的 CUDA，但不支持较新版本的 CUDA。而我当前环境中的pytorch版本为1.11.0所以我只能选择11.3以下的版本，我就选择最新版本CUDA11.3进行安装。右上角显示了一个CUDA版本，但是这不是说已经安装了CUDA，而是说安装的CUDA版本不得高于12.0版本。
2024-01-23 17:16:20
388
1
原创 opencv函数使用方法，以中值滤波为例
使用dst参数时，提前使用np.zeros声明，在该语句运行后，dst的类型为 array,float64，但是在medianBlur运行后，dst的类型变为 array,uint8. 可以有返回值，也可以没有返回值。特别解释，函数输入参数中的 [,dst] 为可选参数。使用dst参数：需要提前声明一个dst变量。
2024-01-06 14:01:15
361
1
原创 深度学习环境迁移
本帖采用导出 environment.yaml 及 requirement.txt 的方式进行，这样只需要拷贝这两个文本到新的电脑，conda安装-换源-下载生成环境克隆。换conda源后使用 conda env create -f environment.yaml 命令下载安装虚拟环境，其中 pip 安装的包失败。发现pip 配置中没有设置全局索引源。这意味着当前使用的是默认的官方索引源（2、查看conda源，使用默认的源有写下载非常缓慢。5、更换pip源：（上一个链接）阿里源比清华源方便。
2024-01-03 13:22:22
454
4
原创 深度学习软件安装VSCODE+anaconda
安装好anaconda后打开navigator总是弹出更新，如果要更新，点击yes之前将navigator的页面关闭，否则会弹出navigator在busy无法更新。8、使用git 克隆github代码，选择本地文件夹，（win11）右键-显示更多选项- open git bash here，指令输入 git clone。1、拿到一个新电脑，首先配置一下网络，clash和机场，以免有些网站上不去。5、在anaconda navigator中点击刷新按钮，即可看到安装好的vscode。
2024-01-01 16:20:42
406
原创 云服务器深度学习租GPU尝试记录
查看了4070ti的价格，左思右想，还是先试一下租GPU看看可不可行，自己买的话，固然是最安稳的，但是也存在需要地方摆放，能耗&配套，一旦买定不能升级，不知道以后还会不会想要更高级的GPU，资金投入大，而租GPU则是使用门槛高，包括如何与远程服务器通信、数据存储等等，为了了解租GPU的可行性，还是决定试一试，使用云服务器有很多文档要看，这里就不一一解释具体是在做什么了，精简记录一下流程。传输速度还是蛮快了 ，好像没下载成功。回头看数据这边，tar.xz终于是下载好了，根据chatgpt进行解压，毫无动静。
2023-12-18 22:19:15
2489
原创 关于python的搜索路径
可以看到在 E:\python\clone\IGD> 的路径下，python 的搜索路径除了基础路径，只会增加一条 'e:\\python\\clone\\IGD' ，因此在运行命令的时候要以 IGD 为基点，在编写文件夹内部文件的时候，也要注意 import 的引用层次。有些同学遇到搜索路径的问题会使用直接拷贝 py 文件的方法，不到万不得已不推荐直接拷贝文件的方式解决。无法找到跟自己同一个文件夹的 py 文件，需要加上前缀 p32 才能找到，因为搜索路径只到 IGD。例如本示例中的，运行代码。
2023-12-14 21:28:05
368
1
原创 复现模型中出现的一系列bug
警告的含义是，由于没有负样本，因此计算假正例（False Positive）的值在这种情况下可能没有实际意义，因为没有负样本可以判断。这是一个正常的警告，是 scikit-learn 库为了提醒用户注意的机制。后面可不看，仅做个人记录：明明之前使用 linux服务器的时候完全没这问题，但是现在同样的代码+数据，换到windows系统打印出来的东西完全不一样，令人迷惑。继续向前排查：调用的库函数 roc_curve 输入正常，y为长度为83的全1向量，score为长度83的小数向量（0-1之间）。
2023-12-13 17:02:19
533
1
原创 kaggle中py文件python文件复制失败
在kaggle中将 input 也就是数据集中的模型代码复制到 output 中，使用了下面这个博客。这样就无法在 working 中运行代码了，烦躁，想放弃白嫖 kaggle 的GPU了，真的很麻烦。于是用 shutil.copyfile 强制拷贝py文件，显示好像成功，但实际上并没有。结果发现复制过来后，py文件 全部丢失。找到解决方法再更吧==
2023-12-12 14:58:14
414
3
原创 vscode带参调试python配置文件设置import无法引用上层目录
程序结构如上，现在想要调试 ssim_main文件，带参数。“带参调试无法正常import上级目录中的文件”详细说明就是：有这么一个叫 IGD 的模型。“无法指定调试器的运行目录”现在可以正常调试了。
2023-12-07 23:32:11
771
原创 windows任务栏失效，卡死，文件管理失灵，调不出程序
即在桌面右键菜单点击在终端中打开，就恢复了。戴尔G15 win11 时而出现题目问题，今天偶然发现一个不用强制关机的办法，激活任务栏。
2023-07-17 18:18:19
96
1
原创 “更新并关机”但是并没有关机而是重启
博主个人分析，大概是此次更新的补丁不止一个，得更新完所有补丁后才会关机，但是每更新完一个补丁就会重启一次，所以点击“更新并关机”但是电脑却重启大概是因为补丁还没有更新完，还有新的补丁。等到第二次再点击“更新并关机”就真的关机了。有时候我们想关机的时候会出现这样的情况（网图），系统有更新了，博主一般晚上点击关机就去睡觉，这次点击“更新并关机”（win11）后，过了一会儿发现电脑屏幕还亮着，就去看看，发现还有这个选项。
2023-07-13 08:25:39
1571
4
原创 代码聊天记录（仅供参考）
osp.join(out_jpgs_path, file_name.split(".")[0]+'.jpg')`用于生成保存路径，其中`out_jpgs_path`是目标文件夹路径，`file_name.split(".")[0]`用于获取文件名的前缀部分，然后连接上`.jpg`作为文件扩展名。否则，`are_all_pixels_same`将为`False`。通过指定 `key=lambda x: x["label"]`，`sorted()` 函数将根据每个元素的 `"label"` 键的值进行排序。
2023-07-06 09:42:50
815
1
原创 vscode无法切换环境终端activate失效无法进入环境
vscode终端terminal无法切换环境anaconda activate命令失效
2022-10-30 18:27:55
1889
1
原创 论文笔记：Self-Supervised Text Erasing with Controllable Image Synthesis
一种新的自监督文本擦除（STE）框架，该框架可以联合学习合成具有擦除基本事实的训练图像，并在真实世界中准确地擦除文本。我们首先设计了一个风格感知图像合成函数，基于两种合成机制生成具有不同风格文本的合成图像。为了弥合合成数据和真实数据之间的文本风格差异，构建了一个策略网络，通过在两个专门设计的奖励的指导下选择风格参数来控制合成机制。然后将具有擦除地面真值的合成训练图像馈送到训练一个从粗到精的擦除网络。为了产生更好的擦除输出，设计了一个三重擦除损耗，以加强细化阶段以恢复背景纹理。此外，我们还提供了一个新的数据集
2022-08-20 09:37:32
1427
4
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人