weixin_62084818的博客

原创 解决加载模型时遇到Unable to convert function return value to a Python type! The signature was () -＞handle

这个问题是由于numpy库版本与tensorflow不匹配导致的。卸载最新的numpy库，安装1.24.4版本即可。

原创 Linux Conda终端显示双环境解决方法记录

这个问题应该是vscode python插件自动激活环境和conda的自动激活环境之间的不兼容导致的显示问题，解决方法是。

原创 【论文笔记】MemLong: Memory-Augmented Retrieval for Long Text Modeling

由于注意力机制的时间和空间复杂度呈平方增长，处理长上下文是一个重大挑战。此外，生成过程中键值缓存的内存消耗也限制了长文本的处理能力。为了解决这些问题，本文提出了MemLong，一种面向长文本生成的记忆增强检索方法。MemLong 通过结合不可微的检索模块和部分可训练的解码器模型，引入了一种精细可控的检索注意机制。该方法利用外部检索器从历史信息中检索语义相关的文本块，并将其转化为键值对输入模型。

原创 【论文笔记】Leave No Document Behind: Benchmarking Long-Context LLMs with Extended Multi-Doc QA

提出了一个新的LLM评估基准。长文档上下文建模功能引起了广泛的关注，随之推出了一系列具有超长上下文窗口的大型语言模型 (LLM)。评估长上下文LLM的基准也随之诞生。然而，现有的基准使用不相关的噪声文本来人为地扩展测试用例的长度，这与长上下文应用程序的真实场景不同。为了弥合这一差距，论文提出了一种新颖的长上下文基准 Loong，通过扩展多文档问答 (QA) 与现实场景对齐。

原创 多模态大模型 TextMonkey

文章结语： 本文介绍了 TextMonkey 来解决与文本繁重的任务（例如文档问答和细粒度文本分析）相关的挑战。我们采用零初始化的移位窗口注意来帮助建立关系，同时使用滑动窗口增加输入分辨率。增加分辨率同时会增加令牌的数量。通过分析令牌的冗余，我们提出的令牌重采样器有效地减少了令牌的数量。此外，TextMonkey 通过同时参与多个面向文本的任务，增强了其对空间关系的感知和理解，从而提高了点击屏幕镜头的可解释性和支持。通过将我们的模型与各种 LMM 进行比较，我们的模型在多个基准上取得了很好的结果。

原创 【节点电压法】一道例题示例

1.只含电压源的支路里，需要将该支路的电流设出来2.电流源串电阻的支路里，电阻不在列写的方程里出现，否则不满足KCL方程3.一条支路上有多个电阻串联时，需要先对串联电阻求和再一起进行计算4.几个未知数就列写几个方程...

原创 【多元函数微分学】易错点总结

1.二元及二元以上的函数统称为多元函数2.已知点P以几种方式和途径趋于P0时，f(P)趋于同一个数，这时还不能判断f(P)有极限3.对于多元函数，偏导数都存在，函数未必有极限，更保证不了连续性4.多元函数求偏导后仍为多元函数，即元数不变，不会变为一元函数。5.偏导数不能理解成微商6.混合偏导数连续，则混合偏导的值与求导次序无关7.多元函数可微必连续 (可微→连续→极限)8.偏导数存在不能保证可微性→偏导数存在且连续，则函数可微9.函数在一点可微，函数在这一点的偏导数不一定连.

原创 【三角函数】三角函数基本公式总结

又是没带笔记本把笔记记在草稿纸上的一天

原创 【黎曼积分】第一型曲面积分公式推导

原创 【轮换对称性】关于黎曼积分对称性的总结

之所以要上传，首先排除是因为我把笔记记草稿纸上了的这种情况T T(没写完)