- 博客(10)
- 收藏
- 关注
RSS订阅原创 长文本数据在大模型中应用的解决办法
依据语言建模的局部性原理，对模型中近距离敏感的位置索引进行保留，同时截断或插值处理远距离的位置索引，确保其不超出预设的最大旋转角度。对于一个原始上下文窗口为𝑇max的模型，目标是将其上下文窗口扩展到𝑇′ max（其中𝑇′ max > 𝑇max）.在RoPE的每个子空间𝑖 上，对于相对位置𝑡，旋转角度 𝑓(𝑡,𝑖) = 𝑡 · 𝜃𝑖 的修改可以分解为对距离𝑡 的修改𝑔(𝑡) 和对基𝜃𝑖 的修改ℎ(𝑖)。然而在处理较短的文本时，由于位置索引的缩放，可能会对模型的性能产生一定的负面影响。
2024-07-11 11:47:31
403
原创 机器学习笔记
(2)集成理论最早起源于Kearns and Valiant (1989)提出的强学习和弱学习的等价原理,其核心思想是将多个分类器模型组合在一起,得到一个具有更好泛化能力的强学习器模型，也可以把集成学习算法看成是将不同专家的决定通过一定的方法融合为一个结果，此时得到的多个专家进行判断的结果更加具有权威性。信息增益使用了信息理论中的熵,熵表示的是信息的混乱程度,熵越小的时候信息越纯,说明分类的效果越好,所以在每个分裂节点选取熵值最小的特征,即选取信息增益最大的特征作为分裂节点。代表模型：随机森林。
2024-05-12 14:09:36
997
原创 算法设计与分析学习笔记
使得为N>=N，时有f(N)<=g(N)，则称函数f(N)当N充分大时上有界，且g(N)是它的一个上界，记为f(N)=O(g(N))，这时还说f(N)的阶不高于 g(N)的阶。在给定某问题的多种算法中，选择复杂性最低的算法是算法选择的重要准则。(3)因为当N>10时有 2N°+11N-10≤3N°，有2N°+11N-10=O(N)。(2)因为当N>1时有N+1024<1025N.有N+1024=O(N).(1)因为对所有的 N>1 时有 3N<4N，有 3N=O(N).(4)因为对所有 N>1 时有。
2024-04-28 22:24:44
518
1
原创 【无标题】
C语言是当今使用最广泛的高级语言，是操作系统、编译系统等大型复杂系统的首选语言。用C语言编写的程序，灵活、方便、简洁、高效、数据结构丰富、功能齐全。C语言以其灵活方便的特点，成为培养学生计算机语言思维，了解计算机编程思想的最佳语言。实际上是一个用计算机语言描述的某一问题的解决步骤自然语言是人与人之间的交流工具，而人与计算机之间的交流就是计算机语言。如：C语言、java、汇编语言、机器语言等。将编写程序的过程称为程序设计。程序设计语言分为低级语言与高级语言。
2024-04-27 20:14:29
755
原创 Qwen-audio-chat模型代码学习之模型代码
Qwen-audio-chat模型通过多模态信息融合技术，有效地结合了音频特征和文本提示信息，从而提升了模型的理解和生成能力。在这一过程中，模型首先提取音频信号的特征，并对文本信息进行向量化处理。接着，利用一个特定的替换机制，将音频特征嵌入到文本的向量表示中，确保两种信息在同一个语义空间内进行有效融合。这种融合策略不仅增强了模型对于多模态输入的处理能力，也使其能够在执行诸如自动生成字幕、多模态情感分析等任务时，更加准确和全面地理解上下文信息。
2024-03-16 02:21:29
1884
1
原创 深入理解自然语言处理中的Token机制及其重要性
深入理解自然语言处理中的Token机制及其重要性在自然语言处理的世界里，Token是构建和理解语言模型的基础。它们是文本的构建块，使得机器能够以结构化的方式处理和理解人类语言。在这篇文章中，我们将深入探讨Token的定义、它们在NLP中的关键作用，以及它们如何推动这一领域的创新。Token的定义和作用Token是文本分析中的基本单元，它可以是一个字符、一个单词或一个短语。在NLP中，Token的引入是为了将复杂的语言数据简化为机器可以高效处理的形式。每个Token都映射到一个向量，这个向量承载了丰富的
2024-03-14 23:15:33
836
1
原创 Qwen-audio-chat模型代码学习之数据处理代码
b_1:其中nl_token是经过tokenizer.encode将“\n”符变成对应的id,im_start_tokens代表的是开始token，im_end_tokens代表的是结束的token，通通过添加这些特殊标记，可以更好地控制模型生成文本的过程，并确保生成的结果符合预期。最后，数据的处理部分到此结束，最终输入到模型的process_audio获取到的音频相关的特征信息，以及通过context_tokens获取的与提示相关的内容信息。以上问题有解答的可以联系我哟，第一个解答成功的有奖品。
2024-03-14 13:40:10
1041
3
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人