北风吹过的秋

表2中的数据表明，Infini-Transformer在长上下文语言建模任务上取得了优于Transformer-XL和Memorizing Transformers的结果，同时保持了更低的内存占用。表2中列出了几种不同的模型配置，并展示了它们在不同长度序列上的表现。介绍了Infini-attention，这是一种新的注意力技术，它在传统的注意力机制中加入了压缩记忆(compressive memory)，并在单个Transformer块中集成了masked局部注意力和long-term线性注意力机制。

更多文章，请关注微信公众号：NLP分享汇下面介绍的这篇论文是最近被ICLR 2024 accepted oral，作者来自University of Washington & Allen Institute for AI & IBM Research AI。大语言模型（LLMs）尽管功能强大，但它们生成的响应常常包含事实性错误，这是因为它们只依赖于模型内部的参数知识。现有方法的局限性：检索增强生成（RAG）是一种通过检索相关知识来增强语言模型输入的方法，它减少了知识密集型任务中的事实错误。

图8在展示了不同语言模型在不同模型大小下的验证集困惑度（Perplexity）与参数数量的关系，这是对模型缩放行为（Scaling Laws）的分析。图中比较了几种xLSTM变体，包括只有sLSTM的架构（xLSTM[0:1]），只有mLSTM的架构（xLSTM[1:0]），以及两者结合的架构（xLSTM[1:1]）。表3展示了不同语言模型在SlimPajama数据集上的性能比较，特别是在不同模型大小下的验证集困惑度（Perplexity）和下游任务（Downstream Tasks）的性能。

这里，作者使用Kahneman（2011）的理论《Thinking fast and slow》，将LLMs比作一个巨大的伪系统1，意味着它们能够快速生成文本和响应，但并不涉及深层次的推理或规划。总之，这篇论文主张大型语言模型（LLMs）自身无法执行复杂的规划任务，但可以在LLM-Modulo框架内，与外部基于模型的验证器相结合，发挥辅助规划的作用，通过这种神经符号集成方法，提高规划和推理任务的灵活性和表达力。但是，由于LLM无法验证自己的解决方案，这种自我改进的方法实际上是不可行的。

小样本学习工程化应用：P-tuning

首先先把我遇到的问题贴出来这个是默认路径下的libstdc++.so.6缺少GLIBCXX_3.4.22，你有可能缺少其它版本的比如3.4.23，解决方法一样，如下所示：（1）使用指令先看下目前都有哪些版本的/usr/lib/x86_64-linux-gnu/libstdc++.so.6 | grep GLIBCXX我这里只到3.21，所以确定是确实这个文件（2）使用sudo find / -name "libstdc++.so.6*"来查看当前系统中其它的同类型文件，找到一个版.

中文NER 的 SOTA应用，ACL2020 FLAT 和 ACL2021 LEBERT 。

本文将以2021年南洋理工大学发表的论文《Recent Advances in Deep Learning-based Dialogue Systems》为基础，介绍「深度学习对话系统」综述系列，共分七篇，本文是开篇。论文制作了一个图表，以帮助读者熟悉整体结构（如图1），本系列将依此详细介绍。 图1 全文结构各部分介绍请点击链接查看，内容有点多哦，当作参考吧，希望对你有帮助。【一】简要介绍对话系统和...

关注微信公众号：NLP分享汇。【喜欢的扫波关注，每天都在更新自己之前的积累】文章链接：https://mp.weixin.qq.com/s/BgRe6Y7Qvr9RylxlE_4eJw01 - Pointer Net在对话系统和问答等一些NLP任务中，代理（agents）有时需要直接引用用户消息。Oriol等人[1] 2015年提出的Pointer Net网络 (图1）解决了直接从输入句子复制token的问题。 Sequence-to-sequence【图1a】 RNN(蓝色)对输

关注微信公众号：NLP分享汇。【喜欢的扫波关注，每天都在更新自己之前的积累】文章链接：https://mp.weixin.qq.com/s/vsEH5wj9Y5dShnH42hCX_Q前言本文将以2021年南洋理工大学发表的论文《Recent Advances in Deep Learning-based Dialogue Systems》为基础，介绍「深度学习对话系统」综述系列，共分七篇，本文是第二篇。本文较长，建议读者直接阅读感兴趣的部分。开篇链接：2021深度学习对话系统大综述 [

关注微信公众号：NLP分享汇。【喜欢的扫波关注，每天都在更新自己之前的积累】文章链接：https://mp.weixin.qq.com/s/lr65Pun1_jP6rUY5-66OSgGRU是LSTM网络的一种效果很好的变体，它较LSTM网络的结构更加简单，而且效果也很好，因此也是当前非常流形的一种网络。GRU既然是LSTM的变体，因此也是可以解决RNN网络中的长依赖问题。在LSTM中引入了三个门函数：输入门、遗忘门和输出门来控制输入值、记忆值和输出值。而在GRU模型中只有两个门：分别.

关注微信公众号：NLP分享汇。【喜欢的扫波关注，每天都在更新自己之前的积累】文章链接：https://mp.weixin.qq.com/s/XdV-1aIRFzAU8HXTH7M3Lw前言之前我们对RNN模型做了总结。由于RNN也有梯度消失的问题，因此很难处理长序列的数据，大牛们对RNN做了改进，得到了RNN的特例LSTM，它可以避免常规RNN的梯度消失，因此在工业界得到了广泛的应用。RNN原理介绍：追根溯源：循环神经网络《 Long short-term memory 》 ..

关注微信公众号：NLP分享汇。【喜欢的扫波关注，每天都在更新自己之前的积累】文章链接：https://mp.weixin.qq.com/s/A0irVL4-uYVCbrSrtFEZxQ一、背景NLP任务（包括与对话相关的任务）尝试处理和分析顺序的语言数据点，即使标准神经网络以及CNN是强大的学习模型，它们也具有两个主要限制： 一种是它们假定数据点彼此独立。虽然可以独立地产生数据点是合理的，但是在处理相互关联的数据点（例如，文本，音频，视频）时，可能会丢失基本信息。 另外，它们