- 博客(13)
- 问答 (1)
- 收藏
- 关注
RSS订阅原创 ＜ML笔记＞ 线性回归、Logistic回归与Softmax回归
Logistic回归是Softmax回归在二分类时的特殊形式（公式推导参考Logistic和Softmax都不是线性回归，但都属于线性模型（可以发现负对数似然与交叉熵相通。
2024-04-19 22:20:49
863
原创 Transformer原文＜Attention Is All You Need＞阅读笔记
那么这个 attention的输出，就是根据encoder输出和decoder上一子层输出的相似性，来对encoder的输出计算加权和（也就是说把encoder的输出，根据Q想要的东西，把它拎出来）引用-使用Scaled的原因：不缩放的话内积值较大，那么通过softmax之后，大的值就很大，小的值很小（也就是权重的值向softmax的两边靠拢），权重之间的差距变大。但提取序列信息的方式不同。根据不同的Q，去计算这个Q与每个K的相似度，QK相近的时候，相似度会大一些，因此这个K对应的V权重也就大一些。
2023-12-11 20:16:27
1121
原创 与PLM有关的知识图谱构建相关文献-阅读笔记
在通过LLM生成T2G的过程中，验证器从LLM获取文本T和输出的图G，并向LLM发送校正信号（例如，“将文本转换为语义图，并将给定的三元组添加到生成的语义图”）。训练验证模块的方法：我们从一个种子数据集开始（包含文本和图的(T, G)对），通过在种子集上随意选取一个图G，并对其中的实体、关系或三元组进行任意的扰动，从而构造成一个图扰动数据集。此外，由于T5的tokenizer和WebNLG数据集的词汇覆盖范围不匹配，WebNLG中的一些字符在T5的词汇表中不存在，在tokenization的过程中被忽略。
2023-12-11 20:10:43
1286
原创 ML的4个指标——准确率、精确率、召回率与F1 score
机器学习的分类任务中，准确率(accuracy)、精确率(precision)、召回率(recall)与F1 score是常见的4个评估指标。之前对于这些指标有粗略的了解，如今加深一下理解。
2023-12-11 19:53:36
961
原创 Llama部署与运行初尝试
进行申请，据说填写邮箱后会收到邮件，但一直没收到。脚本来运行一下模型（注意安装好依赖包，如果出错可能是依赖包的版本不符合。光是下载就花了四五天，更新一下运行记录。（这个已经是huggingface格式的了）初步的运行完成，就是简单备忘一下运行过程～为在下载阶段，下载下来的文件夹的路径。这会自动执行当前目录下的。文件，以安装当前项目。
2023-12-11 19:50:15
540
原创 综述＜A Survey of Large Language Models＞阅读笔记
理论与原理：可解释性模型架构：如何构建 LLM 中更高效的 Transformer 变体模型训练：开发更系统、经济的预训练方法模型应用：在实际应用中微调的成本非常高，所以提示已成为使用 LLM 的主要方法。但是，设计提示需要大量人力。自动生成有效提示以解决各种任务将非常有用其次，一些复杂任务（例如形式证明和数值计算）需要特定的知识或逻辑规则，这些规则可能无法用自然语言很好地表达或通过示例演示。因此，开发更具信息量和灵活性的任务格式化方法以进行提示非常重要。
2023-12-11 19:46:40
853
原创 HTB-cozyhosting Walkthrough
spring框架下的actuator组件，存在敏感信息泄漏漏洞。从而导致session会话劫持攻击admin页面存在RCE漏洞jar包存在敏感信息泄漏漏洞。
2023-12-11 17:22:10
372
原创 联邦学习+差分隐私项目记录
M // 每一轮参与全局训练的客户数量N // 客户数量K // 全局更新的轮数tau // 陈旧度epsilon // 隐私预算。
2023-12-11 16:51:38
1287
原创 Django+Vue 项目记录
技术栈：Vue + Django + MySQL本项目为2022秋北航网络空间安全学院数据库实验课程作业。作业需要进行简单的全栈开发。时间紧迫，且本人初次接触Vue，过程中遇到了许多问题。在此记录项目的开发过程。
2023-12-11 16:45:43
928
原创 关于联邦学习构造Non-IID数据集的记录
简单来说，Non-IID就是指每个设备中的数据分布不能代表全局数据分布。本文简单记录一下自己在研究联邦学习过程中对Non-IID数据的思考和处理。
2023-12-11 16:35:02
1142
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人