Luo_LA的博客

原创 C语言中getchar() 和 putchar() 的用法

C语言中getchar() 和 putchar() 的用法getchar() 和 putchar() 是一对字符输入/输出函数.getchar()不带任何参数，他从输入序列中返回下一个字符。例如，下面的语句读取下一个字符输入，并把该字符的值赋给变量ch：ch = getcha();putchar()函数打印它的参数。例如，下面的语句把之前赋给ch的值作为字符打印出来：putchar(ch);由于这两个函数只处理字符，所以他们通常比scanf() 和printf() 函数更快更便捷。而且，ge

原创 【论文阅读】Automated Data Visualization from Natural Language via Large Language Models

自然语言到可视化(NL2Vis)任务旨在将自然语言描述转换为基础表的可视化表示，使用户能够从大量数据中获得洞察力。最近，针对NL2Vis开发了许多基于深度学习的方法。尽管这些方法做出了相当大的努力，但在可视化来自未见过的数据库或跨多个表的数据方面仍然存在挑战。从大型语言模型(llm)卓越的生成能力中获得灵感，本文进行了一项实证研究，以评估它们在生成可视化方面的潜力，并探索上下文学习提示对增强这一任务的有效性。

原创 《最优化方法》复习笔记

原创 【论文阅读】通过组件对齐评估和改进 text-to-SQL 的组合泛化

在 text-to-SQL 任务中，正如在许多 NLP 中一样，组合泛化是一个重大挑战：神经网络在训练和测试分布不同的情况下难以实现组合泛化。然而，最近改进这一点的尝试都是基于单词级合成数据或特定数据集分割来生成组合偏差。在这项工作中，我们提出了一种子句级组合示例生成方法。我们首先将Spider文本转SQL数据集中的句子拆分为子句子，用相应的SQL子句注释每个子句子，从而得到一个新的数据集Spider-SS。

原创 探索ChatGPT时代下的下一代信息检索系统：机遇与挑战

ChatGPT 标志着生成人工智能领域的显着进步，丰富了多种信息检索任务。然而，这一进步并非没有挑战。错误信息、虚假信息和潜在滥用有害内容等道德困境引起了严重关注。此外，可解释性的挑战仍然是一个巨大的障碍。为了应对这些挑战，最近的工作在这些领域取得了长足的进步。我们注意到，公平检索方法已显示出减轻 PLLM 偏见的潜力，促进更公平和公正的内容生成。此外，检索增强学习方法的应用已被认为有利于解决可解释性问题。

原创 【论文阅读】Relation-Aware Graph Transformer for SQL-to-Text Generation

SQL2Text 是一项将 SQL 查询映射到相应的自然语言问题的任务。之前的工作将 SQL 表示为稀疏图，并利用 graph-to-sequence 模型来生成问题，其中每个节点只能与 k 跳节点通信。由于无法捕获长期且缺乏特定于 SQL 的关系，这样的模型在适应更复杂的 SQL 查询时将会退化。为了解决这个问题，我们提出了一种 Relation-Aware Graph Transformer（RGT）来同时考虑 SQL 结构和各种关系。具体来说，为每个SQL构建一个抽象的SQL语法树来提供底层关系。

原创 【论文笔记】Summarizing source code through heterogeneous feature fusion and extraction

在 HetSum 的和基础上，提出 HetCoS 通过探索源代码固有的异构性来提取源代码的语法和顺序特征以进行代码摘要。具体来说，我们首先构建一个异构代码图（HCG），它将语法结构和代码序列与图节点之间设计的八种类型的边/关系融合在一起。此外，我们提出了一种异构图神经网络来捕获 HCG 中的不同关系。然后将表示的 HCG 输入 Transformer 解码器，然后采用基于多头注意力的复制机制来支持高质量摘要生成。

原创 【论文笔记】Summarizing source code with Heterogeneous Syntax Graph and dual position

在本文中，我们提出了一个名为 HetSum 的新颖框架。具体来说，首先通过在 AST 中设计六种类型的增强边来构建异构语法图（HSG），这表明了源代码的异构结构。同时，考虑布局信息，为源代码中的每个标记设计了双重位置。此外，我们在 HetSum 中开发了异构图神经网络来对 HSG 进行编码，同时使用 Transformer 编码器提取代码布局特征。通过将学习到的代码标记向量同化到 HSG 编码器中，HetSum 可以捕获两个编码器之间的关系，以改进代码表示。

原创 【论文笔记】An Extractive-and-Abstractive Framework for Source Code Summarization

2. Model抽象器的训练通过六个步骤完成：➃ 提取重要语句(IState)，➄ 和 ➅ 生成重要语句和整个代码的嵌入表示(eExe^{Ex}eEx和eAbe^{Ab}eAb) ➆ 基于eExe^{Ex}eEx和eAbe^{Ab}eAb生成融合表示eFue^{Fu}eFu，➇ 生成预测摘要，以及 ➈ 根据预测摘要（PSummaries）和真实摘要（注释）计算损失 {L_Ab} 以更新模型参数。提取重要语句。

原创 【论文笔记】A Transformer-based Approach for Source Code Summarization

为了学习序列中标记的顺序并对标记之间的关系进行建模，Transformer 需要注入位置编码。在这项工作中，本方法表明，通过使用相对位置表示对源代码标记之间的成对关系进行建模，相较于使用绝对位置表示学习代码标记的序列信息会取得更显著的改进。在本节中，将简要描述 Transformer 架构以及如何在 Transformer 中对源代码标记的顺序或其成对关系进行建模。相反，它们的相互作用会影响源代码的含义。然而，我们表明，捕获代码标记的顺序对学习源代码表示没有帮助，并且会导致摘要性能较差。

原创 【论文阅读】SCRIPT：Source Code Summarization with Structural Relative Position Guided Transformer

在本文中，我们提出了一种名为 SCRIPT 的基于 Transformer 的神经方法，它可以很好地学习代码的结构语义以进行源代码摘要。为了利用这两种 Transformer 编码器，我们引入了 SCRIPT 编码器模块，它是两种类型 Transformer 的堆栈，即 RDW-Transformer 和 SRPEi-Transformer。这样的表示有一个好处，就是位置矩阵 M 可以很容易地集成到 Transformer 中，而无需改变 Transformer 的架构。具体来说，我们将 AST 中令牌。

原创 【论文笔记】Self-Attention with Relative Position Representations

本文则是从Self-Attention机制内部出发，通过在计算过程中引入token之间的相对位置关系向量，打破了Self-Attention机制的Permutation-Invariant特性，从而更高效地完成了位置信息的编码，性能得到了提升。本文扩展自注意力以考虑输入元素之间的成对关系，从这个意义上讲，就是将输入建模为标记的(labeled)，有向的( directed)，完全连接的图( fully-connected graph)。的表示，将输入元素之间的edge表示为。个唯一的edge标签。

原创 What Do They Capture? - A Structural Analysis of Pre-Trained Language Models for Source Code

- 分析自注意力权重（self-attention weights），并将权重与语法结构对齐。给定一个代码片段，我们的假设是，如果两个 token 在AST中彼此接近，即具有邻域关系，则分配给它们的关注权重应该很高。我们的分析表明，attention 可以捕捉源代码的高级结构属性，即 AST 中的基序结构。- 设计了一种结构探测方法，以研究语法结构是否嵌入到了 预训练模型的线性变换的上下文词嵌入中。- 研究了源代码的预训练语言模型是否能够在没有训练的情况下生成语法树。

原创 SynCoBERT：语法引导的多模态对比预训练用于代码表示。

提出了SYNCOBERT，一个语法引导的多模态对比预训练框架，用于代码表示。我们设计了两个新的预训练目标来编码编程语言的符号和语法信息。第一个IP目标预测代码token是否是标识符。第二个TEP目标预测AST的两个节点之间的边。提出了一种多模态对比预训练策略，该策略通过**对比学习**来学习更全面的表征，从而最大化不同模态(代码、注释和AST)之间的相互信息。

原创 TreeBERT：基于树的编程语言预训练模型。

使用字节对编码（BPE），从AST的值节点和代码片段中学习最常见的 subtoken，并对其进行切片，例如 “third_party” 可能被切片成 “third” ，“-” 和 “party”，使用过程每个token 的所有 subtoken 的向量和来表示完整的 token。中的值节点对应的 tokens，屏蔽代码片段 C 中的其他节点。代码是强结构化的，代码的语义依赖于要表示的具有不同语法结构的程序语句和表达式的组合，不能仅仅采用类似于自然语言的处理方法（简单的将代码建模为单词序列）。

原创 GraphCodeBert：基于数据流的代码表征预训练模型

对于 X 中的每一个 token，它的输入向量是通过将其对应的token和位置嵌入（position embedding）相加构建而来的。MLM用于源码表示学习，MLM目标是预测随机抽样Masked token的原始token，如果源码上下文不足以推出 masked code token，可以使用注释上下文信息，从而促进模型对齐 NL-PL 表示。= { [CLS]，W，[SEP]，C，[SEP]，V }，其中 [CLS] 是三个段前的特殊token，[SEP]是分割两种数据类型的特殊token。

原创 【模式识别】贝叶斯决策模型理论总结

概率与我们的生存、生活是密不可分的，在我们的生活中要想使我们的期望效用最大化，我们必须考虑各种客观条件的存在，用理性的科学的思维去判断问题、分析问题，最终做出正确的决策。在做最小最大贝叶斯决策时，若考虑P(w_i)有可能改变或对先验概率毫不知晓的情况下，应选择贝叶斯风险R为最大值时的P(w_i)来设计分类器，此时能保证其风险相对于其它的P(w_i)为最大，而能保证在不管P(w_i)如何变化，使最大最小风险为最小。通常，事件A在事件B(发生)的条件下的概率，与事件B在事件A的条件下的概率是不一样的；

原创 【深度学习】RNN循环神经网络和LSTM深度学习模型

RNN memory里面的值每一次都会被清空，而LSTM 里面的 memory 是一直被叠加的，除非忘记门被关闭的时候才会清空。这里的门可以理解成为一个激活函数，这个激活函数通常是 sigmoid 函数，因为经过 sigmoid 函数的值在0和1之间，用来控制门的关闭和打开。循环神经网络的一个核心是可以把前面的序列数据用到后面的结果预测里面。第一，前部序列信息在传递到后部的同时，信息权重下降，导致重要信息丢失。求解过程中梯度消失。在最小化损失函数的过程中，会遇到梯度突然剧烈抖动的情况，从而导致参数丢失。

原创 【李宏毅 | 深度学习】自注意力机制（Self-attention）

但是在上图的例子中，一句话中的两个saw是不同词性的，但是通过相同的网络得到输出没有理由是不一样的，因为输入的向量完全一样。如果增加输入的复杂度，例如输入的是多个向量，或者每次输入的向量的个数是会改变的。例如，在文字处理中，如果把一句话中的每一个单词作为一个向量，那么一个输入就会有多个向量，又因为不同样本的句子长度不同，所以每次输入的向量的个数也是会改变的。首先 Self-attention 的输入是多个向量，这些向量可能是一整个神经网络的输入，也可能是某个隐藏层的输出，所以在这里用。

原创 深度学习——卷积神经网络

卷积神经网络1 计算机视觉 (Computer Vision)2 边缘检测示例 (Edge Detection Example)3 更多边缘检测内容 (More Edge Detection Example)4 Padding5 卷积步长 (Strided Convolutions)6 三维卷积 (Convolutions Over Volumes)7 单层卷积网络 (One Layer of a Convolutional Network)8 池化层 (Pooling Layers)9 卷积神经网络示例1

原创 迁移学习和多任务学习

在迁移学习中，你的步骤是串行的，你从任务 A AA 里学习只是然后迁移到任务 B BB 。在多任务学习中，你是同时开始学习的，试图让单个神经网络同时做几件事情，然后希望这里每个任务都能帮到其他所有任务。

原创 机器学习策略二——优化深度学习系统

如果你希望让学习算法能够胜任人类能做的任务，但你的学习算法还没有达到人类的表现，那么人工检查一下你的算法犯的错误也许可以让你了解接下来应该做什么。这个过程称为错误分析。假设你正在调试猫分类器，然后你取得了90%准确率，相当于10%错误，在你的开发集上做到这样，这离你希望的目标还有很远。你的队员看了一下算法分类出错的例子，注意到算法将一些狗分类为猫。你的队友给你一个建议，如何针对狗的图片优化算法。为了让你的猫分类器在狗图上做的更好，让算法不再将狗分类成猫，你可以针对狗，收集更多的狗图，设计一些只处理狗的算法功

原创 机器学习策略——优化深度学习系统

所以在这种情况下，我们就说准确度是一个优化指标，因为你想要准确度最大化，你想做的尽可能准确，但是运行时间就是我们所说的满足指标，意思是它必须足够好，它只需要小于100毫秒，达到之后，你不在乎这指标有多好，或者至少你不会那么在乎。在机器学习中，如果你可以观察你的系统，如果它在训练集上做的不好、在开发集上做的不好、它在测试集上做的不好，或者它在测试集上做的不错，但在现实世界中不好，必须弄清楚到底是什么地方出问题了，然后我们刚好有对应的旋钮，或者一组对应的旋钮，刚好可以解决那个限制了机器学习系统性能的问题。

原创 改善神经网络——优化算法（mini-batch、动量梯度下降法、Adam优化算法）

在进行参数更新的时候，让y轴方向上的梯度（在随机梯度下降法中，从某一点开始，我们重新选取一个起始点，每次迭代，你只对一个样本进行梯度下降，大部分时候你向着全局最小值靠近，有时候你会远离最小值，因为那个样本恰好给你指的方向不对，因此随机梯度下降法是有很多噪声的，平均来看，它最终会靠近最小值，不过有时候也会方向错误，因为随机梯度下降法永远不会收敛，而是会一直在最小值附近波动，但它并不会在达到最小值并停留在此。在普通的梯度下降中，如果遇到了比较复杂的情况，就会出现：如果学习率过大，摆动过大，误差较大；

原创 electron实现窗口之间的通信

在使用electron-vue开发桌面端应用时，新建了一个窗口，希望主窗口的值能够在新窗口中进行使用，即涉及到了窗口之间的值的传递。

原创 electron实现打开子窗口，窗口加载vue路由指定的组件页面

使用electron-vue开发桌面端应用时，希望主窗口打开一个新窗口，并且新窗口的界面是自己开发的vue组件页面。这里使用vue路由进行页面跳转。：创建路由的时候要使用hash路由，使用history模式的话会找不到路径。vue组件内通过绑定的事件调用openWindow方法。主进程 background.js。渲染进程 renderer.js。

原创 【vue使用Pinia报错】getActivePinia was called with no active Pinia. Did you forget to install pinia？

pinia在main.js中还未注册好，便在其他文件中使用了它。

原创 PyTorch实现基本的线性回归

Pytorch实现基本的线性回归

原创 使用VTK和Python进行体绘制Volume Rendering

通常，在处理离散数据时，就像案例中的标签字段一样，我们会选择最近邻插值，因为这样我们就不会引入与任何组织都不匹配的“新”值。通过这样的函数，我们将标量空间梯度（即标量在空间中变化的程度）映射到不透明度乘数。因此，通过这样的功能，我们可以使组织的“内部”变得相当透明，同时使组织之间的边界更加突出，从而使整个volume的图像更加清晰。通过这个函数，高于1.0的低梯度的像素，将其不透明度乘以0.0，梯度在1和5之间的像素，其不透明度乘以0.0~0.1，梯度高于5的像素，其透明度将乘以一个大于1的数。

原创 智能优化算法——正余弦优化算法（SCA）及其改进策略

近十年涌现了众多优秀的智能优化算法，然而一个算法在某些优化问题上的优异表现并不能保证其在其他问题上的有效性，即不存在一个算法能有效解决所有的优化问题，即著名的“无免费午餐”定理。同时，新算法的提出是否能跳出仿生的思路而开拓新的思路也是我们的研究方向之一。正余弦算法的提出者 归纳了仿生智能优化算法的迭代策略并利用简单的正余弦函数逻辑构思出了正弦余弦算法(SCA) ，这也极大拓宽了开发新算法的思路。

原创 机器学习——支持向量机（SVM）

支持向量机基本知识介绍

原创 数据挖掘——关联规则（Association Rule）Apriori算法和python代码实现

数据挖掘中的关联规则，Apriori算法和python代码实现

原创 机器学习——评估和改进学习算法

机器学习中评估和改进学习算法的方法

原创 神经网络——反向传播算法

神经网络中的反向传播算法

原创 机器学习——神经网络介绍及模型表示

神经网络基本知识

原创 机器学习——正则化解决过拟合问题

正则化解决过拟合问题

原创 机器学习——逻辑回归算法

逻辑回归

原创 机器学习——多元梯度下降法

多元梯度下降算法

原创 机器学习——梯度下降算法

梯度下降是一个用来求函数最小值的算法，我们将使用梯度下降算法来求出代价函数J(θ0，θ1) 的最小值。

原创 机器学习——代价函数

代价函数也被称作平方误差函数，有时也被称为平方误差代价函数。我们之所以要求出误差的平方和，是因为误差平方代价函数，对于大多数问题，特别是回归问题，都是一个合理的选择。还有其他的代价函数也能很好地发挥作用，但是平方误差代价函数可能是解决回归问题最常用的手段了。