苏神大佬的博客-科学空间

最新推荐文章于 2022-12-08 19:30:07 发布
最新推荐文章于 2022-12-08 19:30:07 发布
阅读量2.6k 收藏 4
点赞数 2
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_35273499/article/details/92794921
版权
風起云扬
关注
网络牛网:苏剑林和他的科学空间
低调奋进
05-21 1万+
跟大家分享一位技术牛人：苏剑林，这也是我在同龄人比较钦佩的牛人，最贴切的比喻就是低调的扫地僧吧。先看看他的个人简介： 中山大学基础数学研究生，本科为华南师范大学。93年从奥尔特星云移民地球，因忘记回家路线，遂仰望星空，希望找到时空之路。同时兼爱各种科学，热衷钻牛角尖，因此经常碰壁，但偶然把牛角钻穿，也乐在其中。偏爱物理、天文、计算机，喜欢思考，虽擅长理性分析，但也容易感情用事，崇拜Feynman。爱好阅读，没事偷懒玩玩象棋，闲时爱好进入厨房做几道小菜，偶尔也开开数据“挖掘机”。明明要学基础数学，偏偏.
苏神博客阅读记录
weixin_41079550的博客
05-05 986
20220504 ​​​​​​GAU-α：尝鲜体验快好省的下一代Attention FLASH：可能是近来最有意思的高效Transformer设计 对attention的一个革新。标准的transformer是attention层和FFN层交替，FLASH这篇提出来利用GAU代替attention+FFN，命名为FLASH-Quad，然后采用分块混合注意力，提出了线性复杂度的FLASH. 20220505 GPLinker：基于GlobalPointer的事件联合抽取 事件联合抽取模型.
扩散模型学习--基于苏神博客
weixin_45683677的博客
08-29 873
拆分，添加了随机噪声，对下一时刻的x与噪声增加了系数，这样可以保证每一步都对。接下来我们对损失函数进行一下简化，减少采样的变量，增加训练稳定性。这样损失函数就建立完毕了，我们只需要输入如下特征就可以进行训练。训练好模型后通过迭代就可以从随机噪声生成对应的模型了。跟t时刻的残差并不是独立的，我们往回退一步。DDPM首先将一个原始的图像。就又噪声主导了，ok拆楼完成。, 这里采用了预测残差的方式。可以表示为如下形式，由于。...
苏神文章解析（6篇）
qq_56591814的博客
08-27 3546
苏神文章解析 文章目录苏神文章解析1.浅谈Transformer的初始化、参数化与标准化1.1采样分布：截尾正态分布1.2 正交初始化：Xavier初始化1.3 直接标准化1.4 NTK参数化1.5 残差连接2.模型参数的初始化2.1 总结2.2 为啥要正交初始化2.3 Xavier初始化2.4 考虑激活函数3.BN为什么起作用3.1 简述3.2 具体推导 1.浅谈Transformer的初始化、参数化与标准化 《浅谈Transformer的初始化、参数化与标准化》 1.1采样分布：截尾正态分布   一般情
科学空间
kyle1314608的博客
09-09 654
https://kexue.fm/category/Mathematics
位置编码——苏剑林博客
Hekena的博客
04-12 1593
因为，要加入位置编码信息，所以，学习位置编码！！！加油 另外，Global的关系（PRGC）和Global pointer的NER，在统一上的使用，继续思考，就是之前的GG的想法！！！ 位置编码分为相对位置编码和绝对位置编码 ......
我的个人主页
XDFZ_ST_HYX的博客
07-21 4186
我的个人主页
相似度衡量（需复现）：苏剑林博客2：Unsupervised Opinion Summarization Using Approximate Geodesics
Hekena的博客
12-07 640
我觉的这篇论文可以细细研读，针对比较关心的几个问题，给了解决方案，在各向异性，在语义表示上，都提出了一些改进。我觉得可以。 可以作为复现论文之一。论文围绕两个问题： 1 如何获得较好的语义表示向量？（传统预训练语言模型具有各向异性） 2 如何测算语义表示向量之间的相对距离？（基于统计的方法和基于语义的方法）opinion summary：自动化的生成准备的summary从线上用户的评论中。一般是基于无监督的方法。（无标注数据的原因） 大致分为两种，一种是general summary，即选择最佳的能够表示s
苏剑林两篇文章，GPLINKer
qq_43681719的博客
07-05 1208
苏剑林两篇文章
相似度衡量：苏剑林博客-3
Hekena的博客
12-08 1504
本文主要是对苏剑林老师之前的博客中，对相似度相关的内容稍作整理。
花式自然语言处理-苏剑林
01-15
内容：抛开固有的使用RNN处理NLP的思维，拥抱CNN+Attention 作者：“科学空间”博主苏剑林
百度百科百万级问答语料集
07-23
从百度百科词条知识库中爬取下来的百万条百科知识，可用于自然语言处理、QA问答、知识图谱、实体识别、关系抽取等技术研究
信息抽取（二）花了一个星期走了无数条弯路终于用TF复现了苏神的《Bert三元关系抽取模型》，我到底悟到了什么？
weixin_45839693的博客
12-03 3291
信息抽取（二）花了一个星期走了无数条弯路终于用TF复现了苏神的《Bert三元关系抽取》模型，我到底悟到了什么？前言数据格式与任务目标模型整体思路复现代码数据处理数据读取训练数据处理模型搭建模型参数图Conditional_LayerNormalizationSPO的抽取，评估并保存模型模型训练一些排坑可能的优化方向总结 前言 先上热菜致敬苏神：苏剑林. (2020, Jan 03). 《用bert4keras做三元组抽取 》[Blog post]. Retrieved from https://kexu
多任务学习漫谈（一）：以损失之名 by 苏剑林
weixin_45683677的博客
01-18 466
文章目录多任务损失函数一般形式初始状态先验状态动态调节实时状态理想状态 多任务损失函数一般形式 如何确定αi\alpha_{i}αi​至关重要 初始状态 去除量纲 如果我们将每个损失函数看成具有不同量纲的物理量，那么从“无量纲化”的思想出发，我们可以用损失函数的初始值倒数作为权重，即 如何得到Li(init)\mathcal{L}_i^{(\text{init})}Li(init)​ ,可以考虑使用一个batch计算一下，或者根据分析得出经验初始值，比如，在主流的初始化之下，我们可以认为初始模型（加激活
算法-深度学习-Attention
我要做全栈
09-12 333
跟着苏神学习Attention 苏神原文： 《Attention is All You Need》浅读（简介+代码） 序列编码 深度学习做NLP任务：句子分词，词转化为词向量序列，这样每个句子都对应一个矩阵： 其中代表第个词的词向量，维度为维，故 RNN 递归进行 速度慢，无法很好学习到全局结构信息，需双向RNN CNN 窗口式遍历 只能获取局部信息，通过层叠增大感受野 Attention 其中是另外的序列，如果取，则为Self Attention，它的意思是直接将和原来的每个词进行比较
苏神文章总结栏
weixin_45683677的博客
12-21 239
浅谈Transformer的初始化、参数化与标准化 如果不除d\sqrt{d}d​的话方差过大，会导致softmax之后接近于one hot，最终导致梯度消失 针对多次提到的norm 问题，post norm与pre norm都一般，作者提出使用参数化训练，初始化为0，之后慢慢增加 ...
《CoSENT（一）：比Sentence-BERT更有效的句向量方案》pytorch实现和中文实验
HUSTHY的博客
02-09 6517
一、CoSENT简介 目前已经有了很多比较有效的bert系列句向量方案，其中最易于实现以及数据构造比较友好并且效果也比较好的方法就是Sentence-BERT。当然Sentence-BERT的训练目标和推理任务的目标是不一致的，它的训练目标是优化一个分类任务，而推理却是计算文本的余弦相似度。那么有没有一种更好的方案来解决Sentence-BERT文本相似度训练和推理优化目标不一致的问题？苏神的博客——CoSENT（一）：比Sentence-BERT更有效的句向量方案给出了答案，直接优化文本对的余...
NLP大佬博客
左手coding，右手cooking
12-04 525
大神博客地址：
NLP 国外大牛博客（强烈推荐）
风起云扬的博客
12-18 5511
NLP国外大牛 Jay Alammar博客：https://jalammar.github.io/
vg6328a使用教程
最新发布
04-23
### 关于VG6328A的使用教程或指南 目前，在已知的引用资料中并未提及关于VG6328A的具体使用教程或用户手册。然而，可以推测VG6328A可能是一款与图像信号处理相关的设备或模块，类似于Astro VG876图像信号发生器[^3]。 对于此类硬件设备，通常可以通过以下几种方式获取其使用教程或用户手册： 1. **厂商官方网站** 厂商官网通常是获取产品文档的第一渠道。如果VG6328A有特定制造商，则访问该制造商的网站可能会找到详细的用户手册和技术规格说明。 2. **技术论坛和社区支持** 技术论坛（如Stack Overflow、Electronics Stack Exchange）以及相关产品的官方技术支持论坛可能是寻找解决方案的重要资源。例如，针对Astro VG876的相关讨论可以帮助理解类似的硬件操作逻辑。 3. **GitHub和其他开源项目平台** 类似于ESP32-audioI2S库的开发案例[^2]，许多开发者会在GitHub或其他平台上分享基于特定硬件的驱动程序、固件更新或者应用实例。通过搜索关键词“VG6328A GitHub”或“VG6328A driver”，或许能够发现一些有价值的资源。 4. **数据表和芯片手册** 如果VG6328A是一个集成电路（IC），那么它的数据表（Datasheet）将是最重要的参考资料之一。这些文件通常由芯片制造商提供，并包含电气特性、接口协议以及其他设计所需的关键参数。例如，MAX98357的数据表提供了完整的音频播放配置细节[^2]。 以下是假设的一个简单串口通信代码示例用于控制类似VG6328A这样的设备（仅作为参考）： ```csharp private void SendCommandToVG6328A(string command) { if (!serialPort_VG6328A.IsOpen) serialPort_VG6328A.Open(); try { byte[] buffer = Encoding.ASCII.GetBytes(command); serialPort_VG6328A.Write(buffer, 0, buffer.Length); } catch (Exception ex) { Console.WriteLine($"Error sending command to VG6328A: {ex.Message}"); } } ``` #### 注意事项 由于具体型号的信息有限，建议进一步确认VG6328A的确切功能及其应用场景后再深入研究。如果有更多背景信息可供补充，将有助于更精准地定位相关资源。 ---
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值