weixin_41958290的博客

1. 对角阵 (Diagonal Matrix)一个n阶方阵，其非对角线上的元素均为0。几何意义:对角阵作用于向量时，相当于沿着坐标轴进行缩放。每个对角线元素dᵢ代表了在第i个坐标轴上的缩放比例。如果dᵢ > 1，则沿该轴拉伸；如果0 < dᵢ < 1，则沿该轴压缩；如果dᵢ < 0，则沿该轴反向并缩放。对角阵的特征向量就是标准基向量（如二维的[1, 0]和[0, 1]），这意味着对角阵的变换不会改变坐标轴的方向，只改变坐标轴的尺度。数学意义:对角阵的运算非常简单，如矩阵乘法、求逆、求特征值等。

Logistic回归是Softmax回归在二分类时的特殊形式（公式推导参考Logistic和Softmax都不是线性回归，但都属于线性模型（可以发现负对数似然与交叉熵相通。

那么这个 attention的输出，就是根据encoder输出和decoder上一子层输出的相似性，来对encoder的输出计算加权和（也就是说把encoder的输出，根据Q想要的东西，把它拎出来）引用-使用Scaled的原因：不缩放的话内积值较大，那么通过softmax之后，大的值就很大，小的值很小（也就是权重的值向softmax的两边靠拢），权重之间的差距变大。但提取序列信息的方式不同。根据不同的Q，去计算这个Q与每个K的相似度，QK相近的时候，相似度会大一些，因此这个K对应的V权重也就大一些。

在通过LLM生成T2G的过程中，验证器从LLM获取文本T和输出的图G，并向LLM发送校正信号（例如，“将文本转换为语义图，并将给定的三元组添加到生成的语义图”）。训练验证模块的方法：我们从一个种子数据集开始（包含文本和图的(T, G)对），通过在种子集上随意选取一个图G，并对其中的实体、关系或三元组进行任意的扰动，从而构造成一个图扰动数据集。此外，由于T5的tokenizer和WebNLG数据集的词汇覆盖范围不匹配，WebNLG中的一些字符在T5的词汇表中不存在，在tokenization的过程中被忽略。

机器学习的分类任务中，准确率(accuracy)、精确率(precision)、召回率(recall)与F1 score是常见的4个评估指标。之前对于这些指标有粗略的了解，如今加深一下理解。

进行申请，据说填写邮箱后会收到邮件，但一直没收到。脚本来运行一下模型（注意安装好依赖包，如果出错可能是依赖包的版本不符合。光是下载就花了四五天，更新一下运行记录。（这个已经是huggingface格式的了）初步的运行完成，就是简单备忘一下运行过程～为在下载阶段，下载下来的文件夹的路径。这会自动执行当前目录下的。文件，以安装当前项目。

理论与原理：可解释性模型架构：如何构建 LLM 中更高效的 Transformer 变体模型训练：开发更系统、经济的预训练方法模型应用：在实际应用中微调的成本非常高，所以提示已成为使用 LLM 的主要方法。但是，设计提示需要大量人力。自动生成有效提示以解决各种任务将非常有用其次，一些复杂任务（例如形式证明和数值计算）需要特定的知识或逻辑规则，这些规则可能无法用自然语言很好地表达或通过示例演示。因此，开发更具信息量和灵活性的任务格式化方法以进行提示非常重要。

正向代理是面向用户的；代理反向代理是面向服务器的代理，对用户透明

Request-basket存在SSRF，可以访问服务器本地的80端口Maltrail自身存在漏洞。

spring框架下的actuator组件，存在敏感信息泄漏漏洞。从而导致session会话劫持攻击admin页面存在RCE漏洞jar包存在敏感信息泄漏漏洞。

应用RT框架时存在弱密码漏洞（使用默认密码）Keepass自身存在漏洞。

M // 每一轮参与全局训练的客户数量N // 客户数量K // 全局更新的轮数tau // 陈旧度epsilon // 隐私预算。

技术栈：Vue + Django + MySQL本项目为2022秋北航网络空间安全学院数据库实验课程作业。作业需要进行简单的全栈开发。时间紧迫，且本人初次接触Vue，过程中遇到了许多问题。在此记录项目的开发过程。

简单来说，Non-IID就是指每个设备中的数据分布不能代表全局数据分布。本文简单记录一下自己在研究联邦学习过程中对Non-IID数据的思考和处理。