- 博客(13)
- 问答 (1)
- 收藏
- 关注
原创 <ML笔记> 线性回归、Logistic回归与Softmax回归
Logistic回归是Softmax回归在二分类时的特殊形式(公式推导参考Logistic和Softmax都不是线性回归,但都属于线性模型(可以发现负对数似然与交叉熵相通。
2024-04-19 22:20:49
887
原创 Transformer原文<Attention Is All You Need>阅读笔记
那么这个 attention的输出,就是根据encoder输出和decoder上一子层输出的相似性,来对encoder的输出计算加权和(也就是说把encoder的输出,根据Q想要的东西,把它拎出来)引用-使用Scaled的原因:不缩放的话内积值较大,那么通过softmax之后,大的值就很大,小的值很小(也就是权重的值向softmax的两边靠拢),权重之间的差距变大。但提取序列信息的方式不同。根据不同的Q,去计算这个Q与每个K的相似度,QK相近的时候,相似度会大一些,因此这个K对应的V权重也就大一些。
2023-12-11 20:16:27
1161
原创 与PLM有关的知识图谱构建相关文献-阅读笔记
在通过LLM生成T2G的过程中,验证器从LLM获取文本T和输出的图G,并向LLM发送校正信号(例如,“将文本转换为语义图,并将给定的三元组添加到生成的语义图”)。训练验证模块的方法:我们从一个种子数据集开始(包含文本和图的(T, G)对),通过在种子集上随意选取一个图G,并对其中的实体、关系或三元组进行任意的扰动,从而构造成一个图扰动数据集。此外,由于T5的tokenizer和WebNLG数据集的词汇覆盖范围不匹配,WebNLG中的一些字符在T5的词汇表中不存在,在tokenization的过程中被忽略。
2023-12-11 20:10:43
1358
原创 ML的4个指标——准确率、精确率、召回率与F1 score
机器学习的分类任务中,准确率(accuracy)、精确率(precision)、召回率(recall)与F1 score是常见的4个评估指标。之前对于这些指标有粗略的了解,如今加深一下理解。
2023-12-11 19:53:36
992
原创 Llama部署与运行初尝试
进行申请,据说填写邮箱后会收到邮件,但一直没收到。脚本来运行一下模型(注意安装好依赖包,如果出错可能是依赖包的版本不符合。光是下载就花了四五天,更新一下运行记录。(这个已经是huggingface格式的了)初步的运行完成,就是简单备忘一下运行过程~为在下载阶段,下载下来的文件夹的路径。这会自动执行当前目录下的。文件,以安装当前项目。
2023-12-11 19:50:15
567
原创 综述<A Survey of Large Language Models>阅读笔记
理论与原理:可解释性模型架构:如何构建 LLM 中更高效的 Transformer 变体模型训练:开发更系统、经济的预训练方法模型应用:在实际应用中微调的成本非常高,所以提示已成为使用 LLM 的主要方法。但是,设计提示需要大量人力。自动生成有效提示以解决各种任务将非常有用其次,一些复杂任务(例如形式证明和数值计算)需要特定的知识或逻辑规则,这些规则可能无法用自然语言很好地表达或通过示例演示。因此,开发更具信息量和灵活性的任务格式化方法以进行提示非常重要。
2023-12-11 19:46:40
876
原创 HTB-cozyhosting Walkthrough
spring框架下的actuator组件,存在敏感信息泄漏漏洞。从而导致session会话劫持攻击admin页面存在RCE漏洞jar包存在敏感信息泄漏漏洞。
2023-12-11 17:22:10
382
原创 联邦学习+差分隐私项目记录
M // 每一轮参与全局训练的客户数量N // 客户数量K // 全局更新的轮数tau // 陈旧度epsilon // 隐私预算。
2023-12-11 16:51:38
1425
1
原创 Django+Vue 项目记录
技术栈:Vue + Django + MySQL本项目为2022秋北航网络空间安全学院数据库实验课程作业。作业需要进行简单的全栈开发。时间紧迫,且本人初次接触Vue,过程中遇到了许多问题。在此记录项目的开发过程。
2023-12-11 16:45:43
978
原创 关于联邦学习构造Non-IID数据集的记录
简单来说,Non-IID就是指每个设备中的数据分布不能代表全局数据分布。本文简单记录一下自己在研究联邦学习过程中对Non-IID数据的思考和处理。
2023-12-11 16:35:02
1198
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人