- 博客(30)
- 收藏
- 关注
RSS订阅原创 深度学习模型的训练和评估过程的输出日志分析
在训练过程中，每个周期都会计算损失函数（loss）。这里的损失值是0.0091，括号内的0.0154可能是平均损失或者上一次的损失。学习率已经降低到0.000942。5170/5170表示已经完成了所有的5170个训练步骤，用时7分25秒，平均每秒处理11.61个步骤。：一个周期训练结束后，GPU（使用CUDA）分配的内存为240823808字节，预留的内存为6153043968字节。：开始训练第1个周期（Epoch），学习率（lr）为0.001。：第1个周期的训练已经完成。：开始评估第1个周期的模型。
2024-07-08 11:49:26
113
原创 多方法查看GPU驱动信息
在输出的信息中，你可以找到你的 NVIDIA GPU 和驱动的信息。是一个可以列出硬件信息的命令，包括 GPU 和驱动信息。请注意，这个方法需要你的用户有 sudo 权限，因为。命令需要 root 权限来获取硬件信息。命令来查看你的 GPU 驱动版本。都无法使用，你还可以尝试使用。子字段表示驱动的名称，子字段表示驱动的版本。
2024-07-08 10:48:12
54
原创 训练时GPU内存不足，方法及监控
这个错误是由于尝试在GPU上分配更多的内存时，可用的GPU内存不足所导致的。尽管GPU内存的使用率并不高，但是PyTorch已经预留了大部分内存，这就是为什么你看到的错误消息中提到 “10.14 GiB reserved in total by PyTorch”。你可以尝试以下几种解决方案：减小批量大小（batch size）。这将减少每次迭代中需要在GPU上存储的数据量。使用更小的网络模型。更小的模型将使用更少的GPU内存。
2024-07-05 13:07:04
341
原创 查看模型训练的epoch数量
通常，我们会在训练循环中设置epoch的数量。对于模型训练的epoch数量，这是由你的代码决定的。在这个例子中，epoch的数量是10。
2024-07-05 10:41:00
72
原创 训练模型支持多gpu训练
检查代码是否支持多GPU训练在Python中，如果您的代码使用了像或这样的PyTorch库，那么它就支持多GPU训练。这些库允许模型在多个GPU上并行运行。或者如果您的代码没有使用这些库，那么它可能不支持多GPU训练。
2024-07-05 10:38:24
267
原创 多个虚拟环境软链接各自的cuda
在不同的终端中同时激活不同的虚拟环境，并且每个环境需要使用不同版本的 CUDA，可以在每个终端中分别设置。打开第一个终端，激活第一个虚拟环境，并设置然后，打开第二个终端，激活第二个虚拟环境，并设置这样，每个终端的虚拟环境都会使用其对应的 CUDA 版本。
2024-07-04 16:07:10
193
原创 人像视频帧率调整和视频裁剪（cpu版）
对于每一帧，如果该帧包含人脸并且满足抽帧条件，它将从帧的中心裁剪出指定大小的区域，并将裁剪后的帧写入到输出视频中。然后，它获取视频的帧率、总帧数、宽度和高度，并打印这些信息。如果视频的帧率不等于指定的帧率，它将视频的帧率设置为指定的帧率。如果直接运行这个Python文件，它将处理指定的输入视频，并将处理后的视频保存到指定的输出路径。这段代码主要用于处理视频，包括人脸检测、帧率调整和视频裁剪等功能。最后，它打开处理后的视频，获取总帧数、帧率和视频尺寸，并打印这些信息。对象，用于写入处理后的视频。
2024-07-03 10:56:04
104
原创 numpy、ffmpeg都在cpu上面跑
ffmpeg不支持在GPU上运行。ffmpeg是一个用于处理多媒体数据的工具，它主要在CPU上运行。虽然某些特定的ffmpeg功能（如某些视频编解码器）可以利用GPU进行硬件加速，但这需要特定的硬件和驱动支持，并且并非所有操作都可以加速。在这个特定的情况下，从视频中提取图像是一个相对简单的操作，不太可能从GPU加速中受益。如果你发现这个操作很慢，可能是因为你的视频文件很大或者分辨率很高。你可以尝试降低视频的分辨率或者只处理视频的一部分来提高速度。
2024-07-02 18:11:08
244
原创 HuggingFace Hub下载通道添加
目录下创建文件，但是没有相应的权限。这个目录通常是由系统管理员用于安装软件的，普通用户可能没有写入权限。但是，这可能会带来安全风险，因为你的程序将能够访问系统的任何部分。环境变量来更改缓存目录。更改Hugging Face Hub的缓存目录。目录下缓存Hugging Face Hub的文件，而不是。文件中，这样每次打开新的终端时都会自动设置这个环境变量。这将赋予你的程序管理员权限，可以在。这个目录应该是你有写入权限的。这个错误是因为你的程序试图在。你可以将这行代码添加到你的。
2024-07-01 16:04:52
186
原创 本地下载部署unidic.zip并跳过download.py安装步骤
1.手动下载unidic.zip，2.下载好的unidic-3.1.0.zip文件拷贝到目录：/usr/local/lib/python3.9/site-packages/unidic/，并且重命名它为unidic.zip3.打开文件 /usr/local/lib/python3.9/site-packages/unidic/download.py，找到93行的download_version函数，将函数里除了download_and_clean()以外的代码全部注释掉。
2024-06-28 16:03:38
290
原创 Python在虚拟环境中运行，但能root访问内容
最安全的方法是更改文件/目录的权限或所有权，以便你的用户账户可以访问它们。如果这不可行，考虑使用sudo在命令行中运行特定的文件系统操作命令，而不是整个Python脚本。避免在Python脚本中直接使用sudo来执行整个脚本，因为这可能会破坏虚拟环境的隔离性并增加安全风险。
2024-06-28 11:41:12
317
原创 ubuntu在自定义路径中查找文件
这个命令将会在当前目录及其所有子目录中查找路径中包含。的文件，并打印出所有找到的文件的路径。是一个通配符，表示任意的目录路径。查找某个指定文件夹名。
2024-06-28 10:38:28
101
原创 读取.ipynb文件并将其转换为.py文件
这个脚本将会读取你的 Jupyter Notebook 文件，并将其中的代码单元格转换为 Python 代码，然后将这些代码写入到一个新的 Python 文件中。替换为你的实际文件路径。
2024-06-28 09:14:54
92
原创 python大模型下载,使用HuggingFace的镜像hf-mirror
hf-mirror.com的包如何下载。模型名字自己随便搜一个，然后点这个复制。
2024-06-27 17:59:18
117
原创 AttributeError: module ‘ffmpeg‘ has no attribute ‘input‘
环境变量，以便Python可以找到这个库。无论是什么版本，哪怕是最新版的ffmpeg，都不支持input模块。但要是执行上面的命令，只会安装到当前已有的lib中。只能是安装ffmpeg-python。然后，你需要把这个目录添加到你的。
2024-06-25 18:09:52
109
原创 ERROR:方法、类中使用self.call_count记录调用次数
在 Python 中，静态方法是不需要实例就可以调用的方法，因此它们没有。是指向类实例的引用，只有在实例方法中才存在。这个错误是因为在静态方法中使用了。方法改为一个实例方法，或者将。这行代码，因为在这两个修改中。在这两个修改中，我都移除了。的状态，你可能需要将。
2024-06-21 12:41:17
203
原创 default=‘‘路径设置
当前运行的python文件的路径为/home/nvidia/audio_lip/lip/Wav2Lip/inference.py 那么该文件里面的default='./source/videos/test.mp4’指向的文件以及路径是什么？
2024-06-19 17:10:41
191
原创 Ubuntu多工具多线程下载网络文件
如果需要在wget命令中使用用户名和密码，可以使用--user和--password选项。请将username和password替换为你的实际用户名和密码。注意：在命令行中明文显示密码可能会有安全风险，因为这可能会在命令历史中留下密码。如果你关心这个问题，你可以只使用--user选项，然后wget在这种情况下，你需要在提示时手动输入密码。
2024-06-19 15:52:32
253
原创 Ubuntu解压缩文件
选项来执行一个命令。请注意，这些命令可能需要你有相应的权限，如果你没有权限，你可能需要在命令前加上。这个命令会在当前文件夹中查找所有的 zip 文件，并对每个找到的文件执行。如果想解压一个文件夹中的所有压缩文件，你可以使用。替换为你想要解压的文件类型，例如。在 Ubuntu 中，可以使用。
2024-06-19 14:36:30
94
原创 低版本CUDA不支持GCC＞10的编译器
系统仍然无法找到 gcc-7 和 g+±7 的安装包。这可能是因为你的系统的软件源没有这两个版本的包，或者是因为软件源的安全设置阻止了从未签名的仓库更新。这将在 /usr/local/bin 目录下安装 gcc-7 和 g+±7。在这种情况下，你可以尝试从源代码编译 gcc-7。如果你看到的版本号是 7.5.0，那么 gcc-7 和 g+±7 的安装就成功了。
2024-06-19 13:18:02
186
原创 ubuntu两个文件夹对比
这个命令将会生成一个名为diff.patch的文件，这个文件包含了将folder1修改为folder2的所有必要的改动。这个命令将会列出两个文件夹中不同的文件，并显示文件的详细差异。如果两个文件夹完全相同，这个命令将不会有任何输出。在这个命令中，-r选项表示递归地对比文件夹和子文件夹，-u选项表示使用统一格式显示差异。
2024-06-19 10:53:52
153
原创 pip当前版本过老，无法更新pip版本
command.这个错误表明在尝试从Python包索引（PyPI）更新pip时，SSL证书验证失败。这可能是由于网络问题，或者您的Python环境没有正确配置SSL。
2024-06-19 10:42:31
234
原创 conda pip
-no-deps是命令的一个选项，用于指示pip在安装包时不安装其依赖项。通常，pip会自动解析并安装包所依赖的其他包，以确保安装的包能够正常运行。然而，使用--no-deps选项将禁止这种自动依赖项安装行为。--no-deps: 表示不安装包的依赖项。
2024-06-17 11:25:38
249
原创 如何在ubuntu conda查看gpu型号
在Ubuntu的conda环境中，你可以使用nvidia-smi命令来查看GPU的型号。首先，你需要在终端中打开你的conda环境，然后运行nvidia-smi命令。这个命令将会显示你的GPU的详细信息，包括型号、总内存、使用的内存、GPU利用率、温度等。
2024-06-13 10:10:58
308
原创 ubuntu conda备份虚拟环境
要备份Ubuntu系统上的Conda虚拟环境，您可以使用conda-pack工具，它允许您将环境导出为一个tar包，然后在另一个机器或相同机器的不同位置恢复。
2024-06-07 10:20:05
188
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人