鳗小鱼-CSDN博客

原创【梯度下降】梯度会累积会有什么影响？什么时候会用到梯度累积？为什么累计多个小批次的梯度再进行模型参数更新会达到和直接使用大批量数据得到梯度一样的结果呢？

通过梯度累积，可以使用较小的批量数据，累计多个小批次的梯度再进行模型参数更新。然而，在显存限制的情况下，通过梯度累积可以在多个小批量数据上计算梯度，再进行一次参数更新，达到类似于大批量数据训练的效果。：如果梯度累积，每次计算出的梯度将包含当前批次数据的梯度和之前所有批次数据的梯度。梯度累积的原理在于累积多个小批次的梯度再进行模型参数更新，可以近似模拟大批量数据的训练效果。：由于梯度爆炸，模型参数的更新方向和幅度可能变得随机且过大，从而破坏模型的训练，甚至使得模型性能变得很差。梯度会累积会有什么影响？

2024-05-27 16:25:13 1345

原创【已解决】.py程序一直卡着不动，单步调试也是一直卡着不动该怎么办？

他给出的这些情况还是挺复杂的，当时也只是看到了“程序卡住不动可能是由于多种原因，如死循环、资源竞争或锁定、内存不足等。以下是一些排查和解决这种问题的方法”，就单纯的以为是程序的问题，放着没管，就在之后，我发现，原来不是这样的，因为第二天发现运行成功了，我就开始重新看这个报错！那到现在就清晰了，并不是卡在这里了，而是一直再计算，只是cpu计算太慢了，更何况我的是至强cpu呢Intel® Xeon(R) CPU E5-2623 v3 @ 3.00GHz × 16！用top命令查看一下，果然有这么个程序。

2024-05-27 15:58:39 2342

原创【已解决】RuntimeError: PyTorch has CUDA version 12.1 and torch_sparse has CUDA version 11.8

我们会发现同样是torch2.1.2，但是却对应了不同的cuda版本，也就是我们在pip install -r requirements.txt的时候torch里的2.1.2并不是cuda11.8的而是cuda12.1的，这个大家也熟，pip install一般就是说安装最新版本的，所以出了问题。本篇为分享贴，截图部分选自，部分选自，文字内容是结合自己实践进行总结。但别忘了，pip install是安装最新的，这个版本比我们现在已有的旧，所以安装不上！一开始看到这个的时候我是懵逼的，为什么呢？

2024-05-25 21:45:51 1773

原创【已解决】 error: subprocess-exited-with-error × python setup.py egg_info did not run successfully.

今天遇到这个问题：ImportError: cannot import name 'packaging' from 'pkg_resources' (/home/visionx/anaconda3/envs/gdem/lib/python3.8/site-packages/pkg_resources/__init__.py)，其实这种问题很常见，希望给大家统一讲一下如何处理的，我们从头开始！1、在我的主页搜索torch。2、结果如下，点击113这个。

2024-05-25 21:43:40 3925 2

原创最大平均差异（MMD）

给定两个样本集和，它们分别来自两个分布 P 和 Q。MMD 的定义如下：这里，F 是函数集合，通常选择为再生核希尔伯特空间（RKHS）中的函数集。

2024-05-24 10:30:24 1470

原创【图神经网络基础】认识数据集--异质数据集Actor

Actor 数据集包含了多个演员节点，以及演员之间的合作关系。每个节点（演员）都有相应的特征向量和类别标签。这个数据集的主要任务是根据节点特征和图结构对节点进行分类。

2024-05-24 10:18:04 1219

原创【图神经网络基础】认识数据集--异质数据集Wisconsin

Wisconsin 数据集由学术论文或网页组成，每篇论文或网页被视为一个节点，引用关系或链接关系被视为边。该数据集包含五个类别的节点，每个节点都带有特征向量和标签。数据集的主要任务是根据节点的特征和图结构对节点进行分类。

2024-05-24 10:17:26 718

原创【图神经网络基础】认识数据集--异质数据集Chameleon

Chameleon 数据集包含与网络社区相关的信息，每个节点表示一个网页，每条边表示两个网页之间的超链接。该数据集的主要任务是基于节点的特征和图结构对节点进行分类。

2024-05-23 15:28:05 1267

原创【图神经网络基础】认识数据集--异质数据集Squirrel

Squirrel 数据集来源于一个社交网络，包含网页（节点）和超链接（边）。该数据集的目标是根据节点的特征和图结构对节点进行分类。

2024-05-23 15:27:37 710 1

原创【图神经网络基础】认识数据集--异质数据集Cornell

节点（Webpages）每个节点代表一个网页。每个网页有一个特征向量，通常使用词袋模型（Bag of Words）表示网页内容。边（Hyperlinks）每条边表示一个网页到另一个网页的超链接。边是有向的，即超链接有方向性。标签（Labels）每个网页被标注为5个类别之一。

2024-05-22 16:41:39 1111 2

原创【图神经网络基础】认识数据集--异质数据集Texas

节点（Webpages）每个节点代表一个网页。每个网页有一个特征向量，通常是词袋模型（Bag of Words）表示的网页内容。边（Hyperlinks）每条边表示一个网页到另一个网页的超链接。边是有向的，即超链接有方向性。标签（Labels）每个网页被标注为5个类别之一。

2024-05-22 16:41:07 1179

原创【图神经网络基础】认识数据集--同质图和异质图的区别

同质图是指图中的所有节点和边都是同一种类型，结构和属性相对统一，适用于简单而统一的图神经网络模型。而异质图包含多种类型的节点和边，结构复杂，需要针对不同类型的节点和边设计专门的模型和方法，以充分利用异质信息进行特征提取和关系建模。

2024-05-21 15:13:12 1889

原创【图神经网络基础】认识数据集--同质数据集PubMed

PubMed 数据集由生物医学文献组成，每篇文献被视为一个节点，引用关系被视为边。该数据集包含三类糖尿病相关的论文，每个节点都带有特征向量和标签。数据集的主要任务是根据节点的特征和图结构对节点进行分类。

2024-05-21 15:05:46 1509

原创【图神经网络基础】认识数据集--同质数据集CiteSeer

CiteSeer 数据集由学术论文组成，每篇论文被视为一个节点，引用关系被视为边。该数据集包含六个类别的论文，每个节点都带有特征向量和标签。数据集的主要任务是根据节点的特征和图结构对节点进行分类。

2024-05-21 15:05:14 1361

原创【图神经网络基础】认识数据集特征的编码方式--TF-IDF（Term Frequency-Inverse Document Frequency）加权词袋模型

TF-IDF（Term Frequency-Inverse Document Frequency）加权词袋模型是一种在信息检索和文本挖掘中广泛使用的方法，用于衡量一个词在一个文档集中的重要性。它通过结合词频（Term Frequency, TF）和逆文档频率（Inverse Document Frequency, IDF）来计算词的权重，从而更好地表示文档的特征。

2024-05-20 16:19:36 905

原创【图神经网络基础】认识数据集--同质数据集Cora

Cora数据集由学术论文组成，每篇论文被视为一个节点，引用关系被视为边。该数据集包含七个类别的论文，每个节点都带有特征向量和标签。数据集的主要任务是根据节点的特征和图结构对节点进行分类。

2024-05-20 16:02:21 951

原创 pycache文件夹是什么

在Python工作目录下，如果执行某文件后经常会自动生成一个__pycache__文件夹。如图1所示，当执行demo.py文件以后，在根目录和package文件夹下面都自动生成了__pycache__文件夹。这个__pycache__文件夹是什么东西呢？从字面意思理解，应该是Python的缓存文件夹，但是缓存的到底是什么呢？图1。

2024-04-26 21:24:47 1745 6

原创 linux环境下升级node版本过程

在Linux系统上更新Node.js到最新版本的3种升级Node.js的最好方法是使用NVM，这是一个管理多个Node.js版本的实用工具。使用curl命令安装NVM:或者，你可以使用并运行以下命令:关闭并重新打开终端，让系统识别更改或运行命令:然后，验证是否成功安装了NVM:在升级Node.js之前，检查你在系统上运行的是哪个版本要安装最新版本，对特定的Node.js版本使用nvm命令:方法2: 使用NPM(节点包管理器)更新Node.js作为一种替代方法，您_linux nodejs升级。

2024-04-26 20:05:43 1578

原创【已解决】RuntimeError: No CUDA GPUs are availableERROR:torch.distributed.elastic.multiprocessing.api:fa

0为服务器中的GPU编号，可以为0, 1, 2, 3等，表明对程序可见的GPU编号。1. 命令：CUDA_VISIBLE_DEVICES=1 # 只有编号为1的GPU对程序是可见的，在代码中gpu[0]指的就是这块儿GPUCUDA_VISIBLE_DEVICES=0..._cuda_visible_devices。不过，很有意思的是，看的出来我这里面使用的是分布式计算，那我单机多GPU训练的时候，一个GPU上能跑几个进程呢？果然，我这机器里面只有2个GPU，但是呢，这里面的却是5，显然是没办法找到的！

2024-04-19 20:42:05 3005 6

原创【已解决】ModuleNotFoundError: No module named ‘scipy‘

在命令提示符窗口中，执行下面的命令：pip install scipy显示即可主要是记录一下自己平时遇到的问题，和大家分享一下如有侵犯，请联系我_modulenotfounderror: no module named 'scipy。`ModuleNotFoundError: No module named 'scipy'` 表明你的 Python 环境中缺少了名为 `scipy` 的模块，`scipy` 是科学计算库，包含了许多数学、科学和工程计算的功能。文章浏览阅读303次。

2024-04-19 20:37:59 4295 7

原创【已解决】ModuleNotFoundError: No module named ‘termcolor‘

【Python与tensorflow关联报错】ModuleNotFoundError: No module named 'termcolor'，但pip3 show termcolor显示存在termcolor博主在配置python连接tensorflow时，在安装tensorflow后，import tensorflow却产生报错：ModuleNotFoundError: No module named ‘termcolor’尝试到的解决办法。确保你在正确的 Python 环境中运行代码。

2024-04-18 05:04:22 1863

原创【已解决】ModuleNotFoundError: No module named ‘cv2‘

No module named ‘cv2’ 解决方法1.安装opencv-python 在使用的虚拟环境中，输入以下命令 pip install opencv-python注：可能存在的问题使用上述命令安装安装之后，在使用import cv2时仍然出现No module named 'cv2'。OpenCV 是一个开源的计算机视觉和图像处理库，提供了丰富的功能和工具，可以用于处理图像和视频数据，实现各种计算机视觉任务，如目标检测、图像分割、特征提取、对象跟踪、摄像头标定等。说点什么吧，随便说点什么。

2024-04-18 05:03:58 2539

原创【已解决】ModuleNotFoundError: No module named ‘fairseq‘

Fairseq 提供了一系列先进的神经网络模型，如 Transformer、BART、MBART、RoBERTa 等，这些模型在各种 NLP 任务上表现出色。它还包含了用于训练和评估这些模型的工具和脚本，使得用户可以方便地进行模型训练、调优和应用。Fairseq 是一个用于序列到序列学习任务的工具库，它基于 PyTorch 实现。总之，Fairseq 是一个强大的工具库，可用于实现各种基于序列到序列学习的自然语言处理任务。文章浏览阅读447次。以下是非常可能的一种解决方法。_fairseq安装报错。

2024-04-17 10:58:08 1993

原创【已解决】ModuleNotFoundError: No module named ‘matplotlib‘

哈哈哈哈，1.打开终端，输入：pip install matplotlib复制输入放图: 黄字提示我pip需要更新了，可以更新也可以不更新，看心情更新：python -m pip install --upgrade pip复制输入即可最后然后打开jupyter notebook就可以正常运行了供参考..._no module named 'matplotlib。解决No module named ‘matplotlib‘问题_no module named 'matplotlib-CSDN博客。

2024-04-17 10:54:23 17979 6

原创【已解决】No module named ‘PyQt6‘

5. **集成其他功能**：除了 GUI 开发之外，PyQt6 还提供了许多其他功能，例如数据库访问、网络编程、多媒体处理等，使开发者能够构建功能丰富的应用程序。1. **创建 GUI 应用程序**：PyQt6 提供了丰富的组件和工具，使开发者能够设计和构建各种类型的用户界面，包括窗口、按钮、标签、文本框、列表框等。4. **跨平台支持**：PyQt6 提供了对多种操作系统的支持，包括 Windows、macOS、Linux 等，使得开发的应用程序可以在不同平台上运行。

2024-04-16 09:41:20 2272

原创【实用工具】Github的2FA（two-factor authentication）认证，github 双重认证2FA

一、开启2FA如果登录GitHub没有提示开启2FA，可以根据说明开启 GitHub开启2fa设置说明进入GitHub，点击右上角头像，弹出个人信息页面，选择【设置】进入设置页面，侧边栏中选择【密码和身份验证】下拉页面到“双…这样一来，即使有人知道了用户的用户名和密码，也无法直接登录到用户的账户，因为他们没有第二种验证方式。通过启用 2FA，用户可以增加其账户的安全性，因为即使用户名和密码泄露，也不会对账户的安全性造成太大威胁。点进去之后是这样的，用微信扫码是不行的！如果是我，会很珍惜！

2024-04-16 09:40:45 5775 1

原创【已解决】ModuleNotFoundError: No module named ‘xmltodict‘

ModuleNotFoundError: No module named 'xmltodict'` 错误表明你的 Python 环境中缺少了名为 `xmltodict` 的模块。1. **未安装 `xmltodict` 模块：** 你需要先安装 `xmltodict` 模块。2. **环境配置问题：** 如果你使用了虚拟环境，请确保你在正确的环境中执行了代码。尝试按照以上步骤解决问题，如果仍然无法解决，请检查你的环境配置和代码逻辑是否正确。因为我心里有数，所以我不会特别慌张！按照上面的操作就解决了！

2024-04-15 00:04:37 1274

原创【已解决】ModuleNotFoundError: No module named ‘torch._six‘

pytorch2.0 没有。`ModuleNotFoundError: No module named 'torch._six'` 错误表明你的 Python 环境中缺少了名为 `torch._six` 的模块。1. **未正确安装 PyTorch：** 确保你已经正确安装了 PyTorch 库。2. **PyTorch 版本不匹配：** 如果你的代码依赖于特定版本的 PyTorch，确保安装了正确的版本。3. **环境配置问题：** 如果你使用了虚拟环境，请确保你在正确的环境中执行了代码。

2024-04-15 00:03:50 1679

原创【已解决】ModuleNotFoundError: No module named ‘torch._six‘

pytorch2.0 没有。`ModuleNotFoundError: No module named 'torch._six'` 错误表明你的 Python 环境中缺少了名为 `torch._six` 的模块。1. **未正确安装 PyTorch：** 确保你已经正确安装了 PyTorch 库。2. **PyTorch 版本不匹配：** 如果你的代码依赖于特定版本的 PyTorch，确保安装了正确的版本。3. **环境配置问题：** 如果你使用了虚拟环境，请确保你在正确的环境中执行了代码。

2024-04-14 23:58:42 7970

原创【已解决】ModuleNotFoundError: No module named ‘transformers.modeling_bert‘

ModuleNotFoundError: No module named 'transformers.modeling_bert'` 错误表明你的 Python 环境中缺少了名为 `transformers` 的模块或者该模块中的 `modeling_bert` 子模块。已经解决：No model name: transformers.modeling_bert_no module named 'transformers.modeling_bert-CSDN博客。别追我了，我已经跑不动了！

2024-04-14 23:54:15 1556

原创【已解决】ModuleNotFoundError: No module named ‘transformers‘

问题描述：在anaconda的创建了一个环境，直接在环境所在的文件夹下面进入cmd命令：pip install *安装某包，但是点开文件夹里面的python.exe却不能import这个包.解决办法：在进入cmd命令时，需要先activate 环境名；然后import就可以了。这些模型在各种 NLP 任务上表现出色，如文本分类、命名实体识别、语义理解、问答等。提供了一个统一的接口，使得用户可以方便地加载、使用和调整预训练的模型，同时还提供了一系列用于文本处理、特征提取、模型评估等功能的工具和函数。

2024-04-14 23:53:47 1229

原创【已解决】ModuleNotFoundError: No module named ‘pytorch_transformers‘

No model “pytorch_transformers”一、问题描述在运行程序的时候，出现No model "pytorch_transformers"报错二、解决办法通过pip install pytorch_transformers -i https://pypi.douban.com/simple命令，安装即可。是一个用于自然语言处理（NLP）任务的Python库，它提供了对预训练的Transformer模型的支持。它可以方便地加载这些预训练模型，并在特定的NLP任务上进行微调或应用。

2024-04-13 18:25:59 1524

原创【已解决】ImportError: /lib/x86_64-linux-gnu/libstdc++.so.6: version `GLIBCXX_3.4.29‘ not found (required

libstdc++.so.6` 是 GNU C++ 标准库的动态链接库文件，用于 C++ 程序的运行时支持。：如果你正在使用 conda 环境，你可以尝试创建一个新的 conda 环境并重新安装相关的库，以确保所有依赖项都被正确安装和配置。：如果以上方法都不起作用，你可能需要搜索并尝试其他用户报告的解决方案，或者在相关的论坛或社区寻求帮助。4. 允许 C++ 程序在不同的系统上进行移植和共享，只要相同版本的库文件可用。3. 为不同的 C++ 程序提供了共享的库函数，从而节省了存储空间和系统资源。

2024-04-13 18:24:32 5974 5

原创【已解决】AttributeError: ‘str‘ object has no attribute ‘decode‘

当我们编译运行一个py文件（test.py）的时候，Python 编译器首先会对文件 test.py 进行读取，然后默认对数据进行 UTF-8 的解码，然后编译运行，程序跑了起来。我们知道，数据的解码和编码都是成对的，且需要采取相同的编码方式，否则解码的数据就会和原数据不一样…这个时候我们就明白了，在前面应该有一个编码的操作，但我们就需要全部看代码了，这样会比较麻烦，因为有的时候当我们不给其编码，也可以按照需要解码成一定的格式。在此，给出我的解决办法：将上面的代码改为下面的。这个时候再运行就可以了！

2024-04-12 11:13:52 894

原创【已解决】OSError: Unable to open file (unable to open file: name = ‘/media/visionx/monica/newproject/chi

其实conda install 和pip install 都可以达到类似的效果，但是二者还是有些不同的，为了避免安装包的混乱，建议用pip来进行安装，具体内容参考我之前的一篇博客。这个时候我们就明白了，在前面应该有一个编码的操作，但我们就需要全部看代码了，这样会比较麻烦，因为有的时候当我们不给其编码，也可以按照需要解码成一定的格式。那怎么办，就去找name= '/media/visionx/monica/newproject/chineseocr/models/text.h5'这个文件呀！

2024-04-12 11:06:38 1274

原创【已解决】基于yolo3 与crnn 实现中文自然场景文字检测及识别chineseocr的测试与跑通

我们知道，数据的解码和编码都是成对的，且需要采取相同的编码方式，否则解码的数据就会和原数据不一样…其实conda install 和pip install 都可以达到类似的效果，但是二者还是有些不同的，为了避免安装包的混乱，建议用pip来进行安装，具体内容参考我之前的一篇博客。这个时候我们就明白了，在前面应该有一个编码的操作，但我们就需要全部看代码了，这样会比较麻烦，因为有的时候当我们不给其编码，也可以按照需要解码成一定的格式。实际上，这个在项目中的权重文件是可以找到的，如果找不到可以扣我。

2024-04-11 22:31:10 1098 1

原创【已解决】Failed to initialize NVML: Driver/library version mismatch NVML library version: 535.161

分配的新电脑，ubuntu18.04系统，nvidia的驱动都装好了，但是使用指令： nvidia-smi报错： Failed to initialize NVML: Driver/library version mismatch安装gpustat也显示找不到gpu，且cuda，深度学习gpu均不行 …解决此问题的一种方法是更新或回滚 NVIDIA 驱动程序，以使其与当前安装的 NVML 库版本匹配。上面4个方法是我都一一尝试过的，我用的系统是ubuntu的，具体方法也都是在知乎和csdn找的。

2024-04-11 10:43:28 24236 20

原创【趣玩】ChatGPT回答弱智吧经典问题---2

关羽不斩老幼，为什么不派十万老幼去斩杀关羽？这句话是一种反讽或者说是一种玩笑调侃，意思是关羽不斩老幼，如果十万老幼去斩杀关羽，显然是不切实际的。这里是在用夸张的手法来表达对关羽英勇无畏、威风凛凛的态度的赞赏和敬意。贾宝玉出生时嘴里含着玉为什么不取名叫宝国？这是一个有趣的创意！"贾宝玉"这个名字与《红楼梦》中的人物和情节有关。贾宝玉的名字取自于他出生时嘴里含着一块玉。在小说中，贾宝玉是一个非常复杂的角色，他的名字与他的性格和命运紧密相关。

2024-04-10 18:29:41 2953

原创【趣玩】ChatGPT回答弱智吧经典问题---1

恋爱脑”通常指的是人们在恋爱过程中所表现出的一种特殊的心理状态，包括情绪的高涨、注意力的集中以及对恋人的强烈依恋等。因此，接受批评并反思自己的观点，尝试从不同的角度去理解问题是很重要的。另外，孕妇在孕期可能会因为生理和心理变化而出现情绪波动或者情绪不稳定的情况，因此在处理此类情况时，可能需要考虑孕妇的身体和心理健康，并采取适当的措施和处理方式。在一些法律体系中，如果犯罪嫌疑人在主动向司法机关投案的过程中被逮捕，但其确实有自首的意愿，并且有证据表明他在投案前已经有自首的准备和行动，可能会被认定为自首。

2024-04-10 11:43:53 4362

原创【已解决】RuntimeError: Unexpected error from cudaGetDeviceCount(). Did you run some cuda functions befor

背景最近在从源码编译PyTorch，使用的环境是NVIDIA官方的Docker镜像： nvidia/cuda:11.2.2-cudnn8-devel-ubuntu20.04nvidia/cuda:11.1.1-cudnn8-devel-ubuntu20.04宿主机为Ubuntu20.04 + RTX2080ti，Nvidia driver…：确保你的 CUDA 版本与你的 GPU 兼容，并且安装了正确版本的 CUDA 驱动和工具包。：在选择 CUDA 版本时，确保你的 GPU 在该版本中是受支持的。

2024-04-09 22:49:28 7069 1

iSUN.tar.gz

LSUN.tar.gz

torch113+cu113cp39.tar.gz

torch113+cu113cp38.tar.gz

ms-vscode-remote.remote-ssh-edit-0.86.0

神经网络权重文件adi.zip

数据库所有课件

updateIP.bat

自然语言处理

maven 权威指南中文版

gson jar包

空空如也