volcano_66
码龄3年
关注
提问 私信
  • 博客:7,798
    7,798
    总访问量
  • 8
    原创
  • 1,743,861
    排名
  • 124
    粉丝
  • 0
    铁粉
IP属地以运营商信息为准,境内显示到省(区、市),境外显示到国家(地区)
IP 属地:台湾省
  • 加入CSDN时间: 2022-08-04
博客简介:

volcano_66的博客

查看详细资料
个人成就
  • 获得169次点赞
  • 内容获得5次评论
  • 获得154次收藏
创作历程
  • 8篇
    2024年
成就勋章
创作活动更多

新星杯·14天创作挑战营·第9期

这是一个以写作博客为目的的创作活动,旨在鼓励大学生博主们挖掘自己的创作潜能,展现自己的写作才华。如果你是一位热爱写作的、想要展现自己创作才华的小伙伴,那么,快来参加吧!我们一起发掘写作的魅力,书写出属于我们的故事。我们诚挚邀请你们参加为期14天的创作挑战赛! 注: 1、参赛者可以进入活动群进行交流、分享创作心得,互相鼓励与支持(开卷),答疑及活动群请见 https://bbs.csdn.net/topics/619626357 2、文章质量分查询:https://www.csdn.net/qc

473人参与 去参加
  • 最近
  • 文章
  • 代码仓
  • 资源
  • 问答
  • 帖子
  • 视频
  • 课程
  • 关注/订阅/互动
  • 收藏
搜TA的内容
搜索 取消

【论文笔记】CODE2SEQ: GENERATING SEQUENCES FROM STRUCTURED REPRESENTATIONS OF CODE

tanhWin​encodepathv1...vl;encodetokenvaluev1));encodetokenvaluevl。
原创
发布博客 2024.02.19 ·
858 阅读 ·
22 点赞 ·
1 评论 ·
20 收藏

【论文笔记】SEQ2SQL: GENERATING STRUCTURED QUERIES FROM NATURAL LANGUAGE USING REINFORCEMENT LEARNING

处理输入:xcol;x1c​;x2c​;...;xNc​;sql;xs;question;xqt​t​stptr​WptrtanhUptrgs​Vptrht​ftmaxαstptr​)LossLaggLselLwheαtinp​Winphtenc​βinpsoftmaxαinp)κagg。
原创
发布博客 2024.02.19 ·
1030 阅读 ·
19 点赞 ·
1 评论 ·
14 收藏

【论文笔记】Imperceptible Adversarial Attacks on Tabular Data

【论文阅读】Imperceptible Adversarial Attacks on Tabular Data。
原创
发布博客 2024.02.18 ·
851 阅读 ·
20 点赞 ·
1 评论 ·
19 收藏

【论文笔记】Adversarial Attacks for Tabular Data

保证修改的值合理,不修改不能修改的值(如电脑自动生成的值,像excel里面的sum)要让操作距离最小且判断正确(也就是attack)失败的概率最小。r, v是自己设的值。
原创
发布博客 2024.02.18 ·
1004 阅读 ·
17 点赞 ·
1 评论 ·
20 收藏

Attention

输入一个sequence, 我们预测的下一个字符要与前面的sequence都有关联,不能只看前一个字符来预测下一个。如果需要整个序列上的字符都能communicate to each other(encoder block),去掉。又发现如果直接用q@k.transpose(-2, -1)得到w,w的值过大,我们需要它接近1,则用。w要使得sequence中的token能够communicate,我们可以用矩阵乘法来实现。softmax可以让较大的值更明显,让diffuse的值变converge。
原创
发布博客 2024.02.16 ·
932 阅读 ·
23 点赞 ·
1 评论 ·
23 收藏

【论文笔记】Pre-train, Prompt, and Predict

语言模型的参数不进行改变,添加提示,并在提示部分引入额外参数。仅对提示部分的参数进行训练。语言模型的参数参与训练,提示部分的参数固定,与上一种方法相反。
原创
发布博客 2024.02.13 ·
1078 阅读 ·
23 点赞 ·
1 评论 ·
18 收藏

LLAMA

再进行一次RMSNorm乘上classifier weights最后得到Logits。
原创
发布博客 2024.02.12 ·
1038 阅读 ·
22 点赞 ·
1 评论 ·
19 收藏

Translation

以为例。
原创
发布博客 2024.01.28 ·
897 阅读 ·
21 点赞 ·
2 评论 ·
20 收藏