- 博客(126)
- 收藏
- 关注
RSS订阅原创 ubuntu中，enable某个服务，和start某个服务，有什么区别？
`start` 命令用于手动启动一个已经启用的系统服务。当您使用 `start` 命令启动一个服务时，系统会。当您使用 `enable` 命令启用一个服务时，系统会在启动时自动加载该服务的配置，并在系统启动后自动启动该服务。总的来说，`enable` 用于设置服务在系统启动时自动启动，而 `start` 用于手动启动一个已经启用的服务。- `enable` 命令用于启用（即开启）一个系统服务，并设置为。该服务，而不需要等待系统重新启动。
2024-04-03 15:42:55
462
原创 解决 Ubuntu 22 中使用 Alt + Tab 切换窗口后，鼠标滚轮的滚动错误Bug行为，Ubuntu 22 中鼠标滚轮异常跳动
必须在每次开机时启动它（或者在应用程序中添加它来开机启动）。
2024-01-13 15:22:20
627
原创 Python日志级别
或更高时，意味着你只想记录警告、错误和严重错误，而不是详细的信息和调试消息。这可以有助于减少日志的数量和大小，使其更加集中于应用程序的关键问题。在 Python 的日志系统中，日志级别决定了哪些消息会被记录和显示。当你尝试将日志级别设置为。
2024-01-05 10:52:00
497
原创 Linux中ll -h和du -h 查看的文件大小，同一个文件du -h的结果大很多
的结果可能会有所不同，具体取决于文件的类型、大小、属性和当前系统的配置等因素。在比较文件大小时，根据实际需求选择合适的命令和方法进行。查看同一个文件的大小时，可能会看到两者的结果不同，这是因为它们。
2023-12-19 09:48:18
393
原创 Pytorch中Group Normalization的具体实现
Group Normalization 的具体实现在 PyTorch 内部进行了高效计算。与批归一化（Batch Normalization）不同，Group Normalization。Group Normalization (GN) 是一种用于深度神经网络中的归一化方法，它。输出张量 y 是经过 Group Normalization 处理后的结果。模块来实现 Group Normalization。其中 gamma_i 和 beta_i 是与通道相关的可学习参数。指定了小组的数量，即 G，而。
2023-12-12 11:44:19
424
原创 将图像数据转换为 TensorFlow 摘要（Summary）对象的过程
这个过程的目的是将图像数据转换为 TensorFlow 摘要对象，以便在可视化工具中进行显示。在实际使用中，这种字符串表示的图像数据将被 TensorBoard 解析并显示在相应的可视化工具中。，表示要保存为图像的数据。在这里，它被用于存储图像以字符串形式编码的 PNG 数据。使用字符串表示，可以更灵活地处理图像的二进制数据。图像是二进制数据，而字符串是一种能够表示二进制信息的。中保存的字符串数据，即图像的 PNG 编码。是一个用于存储图像二进制数据的缓冲区，而。图像字符串，以便在界面上正确呈现图像。
2023-12-08 10:38:39
218
原创 生成对抗网络GAN中的潜向量Z是用来做什么的？
虽然不能精确指定生成的具体样本，但可以通过改变 Z 的一些特定维度来影响生成结果的某些方面。总体而言，潜在向量 Z 是 GAN 中的一个关键组成部分，为生成器提供了控制和随机性，使得生成网络能够生成富有多样性的、看似真实的样本。通过从潜在空间中采样不同的 Z 值，生成器可以产生不同的输出。生成器在训练过程中通过学习如何使用潜在向量 Z 来生成合适的输出，从而提高了其泛化能力。因为 Z 是从一个分布中采样得到的，它能够使生成器产生对输入中的小变化不敏感的输出。，通常是从某种分布中采样得到的。
2023-12-07 19:21:54
381
原创 Pytorch 中的 Hook 机制
这个功能被⼴泛⽤于可视化神经⽹络中间层的feature、gradient，Hook 是 PyTorch 中⼀个⼗分有⽤的特性。
2023-12-02 11:51:56
278
原创 神经网络中的 Grad-CAM 热图（Gradient-weighted Class Activation Mapping）
输出分数对于最终卷积层的梯度。假设我们有一个CNN模型，并且该模型的最终卷积层的输出特征图为 A，对于类别 c 的输出分数为 y_c。Grad-CAM提供了一种直观的方式来理解CNN模型对于某一类别的决策所依赖的空间信息。其中，Z 是权重的总和，A_{ijk} 是特征图的元素。通过这个过程，我们得到了一个热力图，该热力图表示输入图像中。其中，A_i 是最终卷积层的第 i 个通道的特征图。其基本思想是使用网络的梯度信息来。卷积神经网络（CNN）中特定类别的。，消除负值对于可视化的干扰。
2023-12-02 11:44:33
298
原创 在Transformer架构之前，有注意力机制吗？自注意力机制和以往的注意力机制比有什么革新？
在编码器和解码器之间，他们引入了一个注意力机制，允许解码器在生成每个输出时专注于输入序列的不同部分。自注意力机制（Self-Attention Mechanism）相对于传统的注意力机制在处理序列数据时引入了一些革新。因此，虽然 Transformer 引入了自注意力机制的概念，但注意力机制本身在此之前就已经是神经网络中的一个重要组成部分。总体而言，自注意力机制在处理序列数据时提供了更强大的建模能力，减少了序列处理的计算复杂性，并更好地捕捉了长距离依赖关系。处理序列中的长距离依赖，并且。
2023-12-01 10:40:12
92
原创 dataframe.values.tolist() 举例说明
这将返回一个包含 DataFrame 所有行和列的嵌套列表。这里，每一行被转换为一个包含该行所有值的子列表。
2023-11-30 10:57:12
885
原创 Pytorch在二进制层面比较张量中的各行是否相同，并返回不相同的各行
这使得在内存中视图上进行操作更加灵活，而不依赖于原始数据类型。这种方式的操作在某些情况下很有用，尤其是在处理复杂的数据结构或。它通常用于表示内存块，而不考虑具体的数据类型。类型的一个实例可能包含多个数据类型的字段，但。方法在处理复杂数据类型时可能会遇到一些问题。是 NumPy 中的数据类型，表示。的视图，以便后续的操作更加灵活。在 NumPy 中，
2023-11-30 09:46:19
230
原创 PyTorch中，.data属性已经被弃用，推荐使用.detach()方法
的作用是将生成的张量从计算图中分离出来，这样它就不再与梯度计算相关。这是因为在这个特定的上下文中，我们只是希望得到一个表示 张量，而不需要对这个操作进行梯度计算。，可能会导致未预期的结果。在新版本的PyTorch中，通常建议使用。属性用于访问一个张量的底层数据（tensor data），如果在需要梯度的上下文中使用了。在较新版本的PyTorch中，在PyTorch中，在PyTorch中，
2023-11-29 14:42:27
228
原创 自注意力机制中的gen_nopeek_mask()函数
在这个掩码中，对角线以下和对角线上的元素被设置为负无穷和零，以确保在自注意力机制中，模型只能关注当前位置之前的信息。是一个上三角矩阵，其中对角线及其以下的元素为负无穷，而对角线以上的元素为0。这样的矩阵在自注意力机制中被用作掩码，确保模型在生成每个位置时只关注之前的位置，而不会使用未来的信息。这样，在计算注意力权重时，这些位置的值经过 softmax 函数后将保持为。通常用于在自注意力机制中，确保模型在生成序列时只能注意到当前位置之前的信息，而。的上三角矩阵，其中上三角的元素为1，下三角的元素为0。
2023-11-28 20:10:15
200
原创 Transformer 模型中的位置编码（Positional Encoding）
1. 可学习型位置编码：（位置权重参数可学习），以便模型能够区分不同位置的信息。
2023-11-28 18:56:23
301
原创 如何查看并删除conda环境
将 `your_env_name` 替换为你要删除的环境的名称。这将删除指定名称的环境及其所有内容。确认删除时，请按照提示操作。这将列出系统中所有已安装的 Conda 环境，`），因为不能删除当前正在使用的环境。你可以使用以下命令来。该环境（可以使用 `
2023-11-28 16:59:46
282
原创 如何查看当前conda可供安装的所有pytorch版本
指定了 pytorch 通道，以确保搜索的是 pytorch 官方通道中的包。在输出中，你将看到所有可用版本的列表。这将显示 1.9.0 版本的信息。请根据你的需求调整版本号。这将列出 pytorch 通道中的所有可用版本。
2023-11-28 14:53:44
513
原创 “Prior.decodertf.load_state_dict(torch.load(restore_prior_from, map_location=lambda storage, loc: st
直接将加载的数据放置到原来的位置。这在加载模型参数时可能是合适的，特别是如果模型的训练和加载都在相同的设备上进行。，表示加载的参数将映射到原始的位置，即不进行任何映射。关键字用于创建这样的简短的匿名函数，它在这里提供了一种更紧凑的方式来定义一个函数，而不必使用完整的。综合起来，这行代码的目的是从指定路径的文件中加载预训练的先验解码器模型的参数，并将加载的参数应用到。匿名函数是一种没有名称的小型函数，通常用于一次性的、简单的操作。这行代码是用于加载 PyTorch 模型的参数，其中。在这个特定的用法中，
2023-11-28 09:51:15
83
原创 “Prior.decodertf.load_state_dict(torch.load(restore_prior_from, map_location={‘cuda:0‘: ‘cuda:0‘}))”
这种设置的目的是在模型参数保存和加载时，确保它们在正确的设备上。如果模型在训练时是在 GPU 上训练的，保存时使用。这将确保在加载模型参数时将其映射到 CPU 上。选择映射的设备取决于你的系统配置和模型的训练设备。}))”中 “:”前的 'cuda:0' 和“:”后的 'cuda:0' 有什么区别?参数的目的是指定加载的模型参数应该被映射到的设备。如果你的模型在训练时是在 CPU 上训练的，那么可能会使用。是两个字符串，它们指定了映射的方式。来确保加载后的参数仍然在相同的 GPU 上。
2023-11-28 09:33:21
141
原创 深度学习中的Transformer机制
此外，由于其通用性，Transformer 的思想也被应用于其他领域，例如计算机视觉和强化学习。Transformer 的创新极大地改变了自然语言处理领域，使得模型在处理。（self-attention mechanism），这是其在处理。任务，尤其是机器翻译。Transformer 引入了。，最初由Vaswani等人于2017年提出，用于。Transformer 是一种深度学习模型结构。计算每个位置与其他所有位置之间的注意力权重。为每个位置分配不同的注意力权重。不同位置之间的依赖关系。
2023-11-27 15:59:57
545
原创 强化学习中的深度Q网络
深度 Q 网络（Deep Q-Network，DQN）是一种结合了深度学习和强化学习的方法，用于解决离散状态和离散动作空间的强化学习问题。DQN 的核心思想是使用深度神经网络来近似 Q 函数，从而学习复杂环境中的最优策略。以下是 DQN 的主要特点和工作原理： Q-Value 函数的逼近： DQN 使用一个深度神经网络来逼近 Q 函数。神经网络接收环境的状态 s 作为输入，并输出每个可能动作 a 的 Q 值。网络的权重参数被训练以最大化 Q 值的累积奖励。 经验回放（Experien
2023-11-27 15:41:10
240
原创 强化学习中的Q学习
虽然Q学习对于离散状态和离散动作的问题非常有效，但在处理连续状态和动作的问题时，可能需要其他算法，例如深度强化学习方法。根据 ε 的概率随机选择一个动作，而以 1-ε 的概率选择当前估计的最优动作。决策过程（MDP）中学习最优的动作策略。Q学习主要用于离散状态和离散动作的问题。Q学习使用一种迭代的更新规则，根据当前估计的Q值和环境的反馈来更新Q值。当Q值收敛时，智能体就学到了一个最优策略，使得在每个状态下选择最优动作。Q学习（Q-Learning）是强化学习中的一种基于值的学习方法，用于在。
2023-11-27 15:28:41
113
原创 强化学习中的“agent“
智能体的目标是发展出一个优秀的策略，使其在不断与环境交互的过程中获得最大的累积奖励。在每个时间步，环境向智能体提供一个奖励信号，表示智能体在当前状态执行特定动作的好坏程度。智能体的目标是通过学习适当的策略来。智能体通过与环境的交互进行学习。它根据奖励信号调整策略，以便在未来的交互中取得更好的结果。状态是描述环境的关键信息，可以是观测到的数据、环境的内部表示或其他形式的信息。智能体通过与环境的交互来学习最优的行为策略，以。学习策略可以是确定性的，也可以是概率性的。智能体能够执行动作，改变环境的状态。
2023-11-27 15:20:47
519
原创 “目标函数“（Objective Function）和“损失函数“（Loss Function）有什么区别
"目标函数"（Objective Function）和"损失函数"（Loss Function）通常在机器学习和优化问题中使用，它们在某些上下文中可以是相同的，但也有一些区别。总体而言，目标函数是一个更广泛的术语，它可以包括多个组成部分，而损失函数通常是其中一个组成部分，用于度量模型在单个样本或一批样本上的预测质量。在某些情况下，目标函数和损失函数可以是相同的，尤其是在没有正则化项的情况下。，以平衡拟合训练数据和保持模型简单性之间的权衡。然而，在包含正则化项的情况下，
2023-11-27 10:03:26
1030
原创 机器学习ROC曲线中的阈值thresholds
在ROC曲线上的不同点对应于不同的阈值。根据任务的具体要求，可以选择合适的阈值，以达到平衡召回率和误报率，或者根据具体应用场景调整模型的工作点。，表示样本属于正例的概率。这个概率值可以被截断为二元分类的决策，通过选择一个阈值来决定样本是被分类为正例还是负例。通过改变阈值，可以得到不同的真正例率（TPR）和假正例率（FPR），从而绘制出ROC曲线。总体来说，ROC曲线提供了模型在不同阈值下的性能综合情况，帮助分析模型的分类能力。通常来说，随着阈值的增加，TPR会减小，而FPR会增加。ROC曲线的绘制涉及。
2023-11-27 09:43:54
1165
1
原创 机器学习中的混淆矩阵
这些指标提供了关于分类模型性能的综合信息，可以帮助评估模型在不同方面的表现。是用于评估分类模型性能的表格，它展示了模型在不同类别上的预测情况。假设有两个类别：正例（Positive）和负例（Negative）。实际为正例的样本中被正确预测为正例的比例，计算公式为。分类正确的样本数占总样本数的比例，计算公式为。正例预测正确的比例，计算公式为。
2023-11-25 11:26:22
908
1
原创 很多Python脚本开头的“#!/usr/bin/env python”是什么意思？
是一个在 Unix-like 操作系统中用于指定脚本解释器的特殊语法。这样的写法的好处在于它允许用户在不同的环境中使用不同版本的Python解释器，而不需要指定确切的解释器路径。将会使用环境变量中默认的Python版本。如果要明确指定使用Python 3，可以写成。在使用shebang时，需要确保脚本文件具有执行权限。例如，如果系统中有Python 2和Python 3两个版本，直接运行脚本，而不需要显式地调用Python解释器。用于在用户的环境变量中查找可执行文件的工具。，并使用它来执行脚本。
2023-11-22 12:46:17
1675
原创 编程中的各种常见的文件编码有哪些？
在计算机编程中，常见的文件编码有很多种。选择适当的编码很重要，以确保文本文件的正确解析和显示。这些编码标准在不同的场景和地区有不同的应用，在现代应用中，UTF-8已经成为使用。基本的拉丁字母、数字和一些符号。Unicode 编码。
2023-11-22 12:43:21
284
原创 测试集为什么不能当做验证集使用？
如果每次都使用相同的测试集作为验证集，可能会导致模型对测试集的过度拟合，最终无法准确评估其性能。使用独立的验证集：将数据划分为训练集、验证集和测试集，确保验证集是独立于训练集和测试集的数据。如果测试集被用作验证集，模型就可能在训练和调整过程中“看到”这部分数据，导致对泛化性能的估计过于乐观。总之，为了得到对模型性能的可靠评估，测试集和验证集应该保持独立，测试集仅用于最终评估模型的泛化性能。在模型的调整和超参数选择中，验证集用于评估模型的性能。，模型在测试集上的表现应该反映其在实际应用中的性能。
2023-11-20 11:52:25
889
原创 测试和验证有什么区别，怎么划分测试集和验证集
测试集和验证集是在机器学习中用于评估模型性能的两个不同的数据集。它们有不同的目的和使用方式。在划分测试集和验证集时，要确保数据的独立性和随机性，常见的做法是使用留出法或K折交叉验证。
2023-11-20 11:47:04
1105
原创 k 折交叉验证和测试集泄露
总的来说，正确使用K折交叉验证是为了更准确地评估模型性能，而测试集泄露可能会导致过度乐观的评估结果。测试集应该是模型从未见过的数据，以确保模型对新数据的泛化能力。如果在训练或验证过程中将测试集的信息引入模型，可能会导致对模型性能的过度乐观估计。在进行特征工程和数据处理时，要确保对训练集、验证集和测试集使用相同的处理方法。在进行特征选择、模型超参数调整等过程中，应该使用独立的验证集，而不是测试集。然而，在进行K折交叉验证时，需要注意一些问题，包括测试集泄露。否则，模型在验证集上的调整可能导致测试集泄露。
2023-11-20 11:43:12
139
原创 k 折交叉验证
该方法将数据集分为k个相似的子集（或称为折），然后模型在这k个子集上进行训练和测试。在K轮中的每一轮迭代中，都会得到一个模型性能的度量值（如准确度、精确度、召回率等）。在每一轮中，使用训练集来训练模型，然后使用测试集来评估模型性能。特别有用，因为它可以避免过度依赖于某一次的随机划分所引入的误差。将原始数据集分为k个子集。这些子集通常被称为折。得到k次迭代的性能度量值后，可以得到一个。，作为模型在整个数据集上的性能评估。迭代，每次选择其中一个折作为。的模型性能估计，因为模型在。，其余的k-1个折作为。
2023-11-20 11:38:55
122
原创 SVR和SVM是什么关系
SVR（Support Vector Regression）和 SVM（Support Vector Machines）是支持向量机（Support Vector Machine）的两个不同方面，分别用于。允许在高维空间中进行非线性映射，从而使得在原始空间中线性不可分的问题也能在更高维度的空间中找到超平面。是训练数据中离超平面最近的点，它们对于模型的性能起着关键的作用。SVR是SVM的回归版本，用于处理回归问题。总的来说，SVM和SVR是同一种基本算法的两个变体，分别应用于。在数学上，SVM 和 SVR。
2023-11-20 10:19:40
961
原创 神经网络常见评价指标AUROC（AUC-ROC）、AUPR（AUC-PR）
从 (0, 0) 到 (1,1) 的对角线将ROC空间划分为左上／右下两个区域，在这条线的以上的点代表了一个好的分类结果（胜过随机分类），而在这条线以下的点代表了差的分类结果（劣于随机分类）。准确性是最常见的分类任务评价指标，表示模型正确预测的样本数占总样本数的比例。召回率是指在所有实际为正例的样本中，被模型正确预测为正例的比例。召回率关注的是模型对正例的覆盖程度。精确度是指在所有被模型预测为正例的样本中，实际为正例的比例。精确度关注的是模型预测为正例的准确性。表示模型错误分类的样本比例，是准确性的补数。
2023-11-15 16:17:43
6224
原创 机器学习中的Bagging思想
总体而言，Bagging思想是通过构建多个略有差异的模型，并将它们的结果组合起来，以获得更稳健、更具泛化能力的模型。这个过程允许在新的数据集中多次出现相同的样本，同时也可能导致某些样本在新的数据集中缺失。（voting）的方式，即每个模型投一票，最终预测结果由获得最多投票的类别确定。对于每个Bootstrap采样得到的数据集，使用相同的学习算法建立一个基本模型。Bagging的主要优点在于通过降低模型的方差，提高了整体模型的泛化能力。Bagging的关键是将所有基本模型的预测结果进行组合。
2023-11-15 15:37:05
413
原创 决策树的Boosting策略是什么
初始时，模型只包含一个简单的决策树。这个树通常是一个深度较浅的树，用于拟合训练数据的残差（实际值与预测值的差异）。这些框架在性能和效率上进行了优化，成为许多数据科学竞赛中常用的工具。这个新树的预测结果将被添加到前一个树的预测结果上，逐步改进整体模型的预测性能。重复上述步骤，每次训练一个新的决策树，调整模型的预测结果，逐渐减小残差。根据前一个树的预测结果来调整下一个树的训练目标，从而逐步提升模型的性能。在决策树的Boosting策略中，最常见的算法是。最终的预测结果是所有决策树的预测结果的。
2023-11-15 15:31:49
807
原创 NCCL后端
在深度学习框架中，可以选择使用 NCCL 作为后端以优化多 GPU 训练过程，以提高训练速度和效率。例如，可以在 PyTorch 中设置 NCCL 为后端，以充分利用 NVIDIA GPU 群集中的计算资源。：在分布式深度学习训练中，多个 GPU 或多台机器上的 GPU 需要相互通信以协同进行模型训练。：NCCL 也在高性能计算中有广泛的应用，特别是在需要在 GPU 集群上执行大规模并行计算任务时。：科学计算领域也经常使用 NCCL 来加速计算任务，特别是需要在多个 GPU 之间。等领域中提供更好的性能。
2023-10-28 11:42:59
353
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人