自定义博客皮肤VIP专享

*博客头图：

点击选择上传的图片

格式为PNG、JPG，宽度*高度大于1920*100像素，不超过2MB，主视觉建议放在右侧，请参照线上博客头图

请上传大于1920*100像素的图片！

博客底图：

点击选择上传的图片

图片格式为PNG、JPG，不超过1MB，可上下左右平铺至整个背景

栏目图：

点击选择上传的图片

图片格式为PNG、JPG，图片宽度*高度为300*38像素，不超过0.5MB

主标题颜色：

RGB颜色，例如：#AFAFAF

Hover：

RGB颜色，例如：#AFAFAF

副标题颜色：

RGB颜色，例如：#AFAFAF

预览取消提交

自定义博客皮肤

-+

上一步保存

volcano_66的博客

原创【论文笔记】CODE2SEQ: GENERATING SEQUENCES FROM STRUCTURED REPRESENTATIONS OF CODE

tanhWinencodepathv1...vl;encodetokenvaluev1));encodetokenvaluevl。

2024-02-19 16:37:24 795 1

原创【论文笔记】SEQ2SQL: GENERATING STRUCTURED QUERIES FROM NATURAL LANGUAGE USING REINFORCEMENT LEARNING

处理输入:xcol;x1c;x2c;...;xNc;sql;xs;question;xqttstptrWptrtanhUptrgsVptrhtftmaxαstptr)LossLaggLselLwheαtinpWinphtencβinpsoftmaxαinp)κagg。

2024-02-19 11:49:07 917 1

原创【论文笔记】Imperceptible Adversarial Attacks on Tabular Data

【论文阅读】Imperceptible Adversarial Attacks on Tabular Data。

2024-02-18 19:07:10 809

原创【论文笔记】Adversarial Attacks for Tabular Data

保证修改的值合理，不修改不能修改的值（如电脑自动生成的值，像excel里面的sum）要让操作距离最小且判断正确（也就是attack）失败的概率最小。r, v是自己设的值。

2024-02-18 18:12:06 941

原创 Attention

输入一个sequence, 我们预测的下一个字符要与前面的sequence都有关联，不能只看前一个字符来预测下一个。如果需要整个序列上的字符都能communicate to each other（encoder block），去掉。又发现如果直接用q@k.transpose(-2, -1)得到w，w的值过大，我们需要它接近1，则用。w要使得sequence中的token能够communicate，我们可以用矩阵乘法来实现。softmax可以让较大的值更明显，让diffuse的值变converge。

2024-02-16 10:59:25 883 1

原创【论文笔记】Pre-train, Prompt, and Predict

语言模型的参数不进行改变，添加提示，并在提示部分引入额外参数。仅对提示部分的参数进行训练。语言模型的参数参与训练，提示部分的参数固定，与上一种方法相反。

2024-02-13 15:16:09 954

原创 LLAMA

再进行一次RMSNorm乘上classifier weights最后得到Logits。

2024-02-12 13:58:39 993 1

原创 Translation

以为例。

2024-01-28 16:44:38 824 1

空空如也

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

volcano_66 CSDN认证博客专家 CSDN认证企业博客

码龄2年

IP 属地：湖北省

IP属地以运营商信息为准，境内显示到省（区、市），境外显示到国家（地区）

8: 原创

151万+: 周排名

14万+: 总排名

7227: 访问

: 等级

251: 积分

124: 粉丝

169: 获赞

5: 评论

154: 收藏

私信

关注

热门文章

最新评论

【论文笔记】CODE2SEQ: GENERATING SEQUENCES FROM STRUCTURED REPRESENTATIONS OF CODE
CSDN-Ada助手: 你好，CSDN 开始提供 #论文阅读# 的列表服务了。请看：https://blog.csdn.net/nav/advanced-technology/paper-reading?utm_source=csdn_ai_ada_blog_reply 。如果你有更多需求，请来这里 https://gitcode.net/csdn/csdn-tags/-/issues/34?utm_source=csdn_ai_ada_blog_reply 给我们提。
【论文笔记】SEQ2SQL: GENERATING STRUCTURED QUERIES FROM NATURAL LANGUAGE USING REINFORCEMENT LEARNING
CSDN-Ada助手: 你好，CSDN 开始提供 #论文阅读# 的列表服务了。请看：https://blog.csdn.net/nav/advanced-technology/paper-reading?utm_source=csdn_ai_ada_blog_reply 。如果你有更多需求，请来这里 https://gitcode.net/csdn/csdn-tags/-/issues/34?utm_source=csdn_ai_ada_blog_reply 给我们提。
【论文笔记】Imperceptible Adversarial Attacks on Tabular Data
CSDN-Ada助手: 你好，CSDN 开始提供 #论文阅读# 的列表服务了。请看：https://blog.csdn.net/nav/advanced-technology/paper-reading?utm_source=csdn_ai_ada_blog_reply 。如果你有更多需求，请来这里 https://gitcode.net/csdn/csdn-tags/-/issues/34?utm_source=csdn_ai_ada_blog_reply 给我们提。
【论文笔记】Adversarial Attacks for Tabular Data
CSDN-Ada助手: 你好，CSDN 开始提供 #论文阅读# 的列表服务了。请看：https://blog.csdn.net/nav/advanced-technology/paper-reading?utm_source=csdn_ai_ada_blog_reply 。如果你有更多需求，请来这里 https://gitcode.net/csdn/csdn-tags/-/issues/34?utm_source=csdn_ai_ada_blog_reply 给我们提。
Attention
CSDN-Ada助手: 恭喜您对“Attention”这个主题进行了深入思考并写出了精彩的博客！您的文章引人深思，让人不禁停下来静心阅读。希望您能继续保持创作的热情和耐心，探索更多有趣的主题，并尝试不同的写作风格和表达方式，让读者能够更多地感受到您的独特观点和情感。期待看到您更多精彩的作品，加油！如何快速涨粉，请看该博主的分享：https://hope-wisdom.blog.csdn.net/article/details/130544967?utm_source=csdn_ai_ada_blog_reply5

最新文章

提示

确定要删除当前文章？

取消删除