中文小说模型、日语模型、embedding 模型...RWKV 社区 8 月动态速览！

最新推荐文章于 2024-09-10 12:36:53 发布
最新推荐文章于 2024-09-10 12:36:53 发布
阅读量67 收藏
点赞数
文章标签： 人工智能
原文链接：https://www.oschina.net/news/309618
版权
  1. RWKV 官方动态
    • 发布 RWKV-6-ChnNovel 系列中文小说模型，适合写小说和角色扮演
    • 发布 RWKV-6-Jpn 日语微调模型
    • RWKV 中文文档新增了 RWKV pip 库使用指南与 RWKV 提示词指南
  2. RWKV 社区项目
    • RWKV Runner 更新 v1.8.7 版本，新增 function call 等功能
    • RWKV 社区发布基于 RWKV-6 的 embedding 模型，含 Bi-Encoder 和 Cross-Encoder
  3. 基于 RWKV 的学术研究
    • 基于多分支降噪器 “Symb-RWKV” 的 Music-Diff 音乐生成架构

RWKV 官方动态

发布 RWKV-6-ChnNovel 中文小说模型

2024 年 8 月 3 日起，RWKV 社区陆续发布了 1B6/3B/7B/14B 四种参数的 RWKV-6-ChnNovel 系列中文小说模型，及对应的小说扩写 state。

RWKV-6 小说模型下载链接：https://huggingface.co/BlinkDL/rwkv-6-misc/tree/main

RWKV-6 小说模型的用法，请参考：RWKV 发布中文小说模型，也擅长角色扮演！

RWKV-6-ChnNovel 中文小说模型基于 RWKV-6-World 基底模型微调，微调数据包含中文小说数据和指令（instruction）数据。

相较于 RWKV-6 基底模型， RWKV-6 中文小说模型在小说续写、小说扩写以及进行深层次的角色扮演功能上有非常好的效果。

演示：写中文小说

演示：角色扮演

如上图所示，若角色设定足够详细，模型角色扮演功能不会轻易跳出其对应的角色设定。

发布 RWKV-6-Jpn 日语微调模型

RWKV 发布 7B / 14B 两种参数的 RWKV-6-Jpn 日语微调模型。

RWKV-6-Jpn 下载地址：https://huggingface.co/BlinkDL/rwkv-6-misc

RWKV-6-Jpn 系列日语模型由社区成员 @OpenMOSE 进行 RLHF 后，在日语任务上表现更好。

OpenMOSE 发布的基准测试显示：RLHF 后 RWKV-6-Jpn 7B 日语模型可与其他 70B 的 Transformer 模型媲美。

RWKV 中文官网新增 pip 库使用指南与提示词指南

RWKV 官网的中文文档新增了聊天、续写两种模式的提示词指南与 RWKV pip 库使用指南。

“RWKV 提示词指南” 介绍了如何向 RWKV 提问，包括完成任务、角色扮演等方面内容。

“RWKV pip 库使用指南” 将指引你使用 RWKV pip 库开发基于 RWKV 模型的应用。

RWKV 社区项目

RWKV Runner 项目更新

RWKV Runner 更新了 v1.8.7 版本，此版本调整了兼容性和 UI 界面 ，并新增了 function call 等功能：

  • 新增了函数调用（function call）功能（由 RWKV 社区成员 @EliwiiKeeya 贡献）
  • 在窄屏页面上添加悬浮 Web 导航（由 RWKV 社区成员 @HaloWang 贡献）
  • 发布了 RWKV Runner Windows 安装器。Windows 安装器有完整的、正式的安装流程：会自动创建目录放置依赖，自动创建快捷方式启动，且自带卸载程序
  • Completion 续写页面已支持调整 penalty_decay 参数

function call 功能位置

社区发布 rwkv6 embedding 模型

RWKV 社区发布了 rwkv6_emb_4k_base 嵌入模型（embedding model），这是一个使用中文查询 / 上下文数据进行微调的 Bi-Encoder ，主要用于将文本转换成嵌入向量。

rwkv6_emb_4k_base 下载链接： https://huggingface.co/yueyulin/rwkv6_emb_4k_base

此外社区也发布了另一款 RWKV-6 嵌入模型 rwkv6_crossencoder，这是基于 RWKV-6 架构的 Cross-Encoder （交叉编码器） 。Cross-Encoder 既可以用于生成嵌入向量的 embedding 任务，也可以用于重排序查询 / 上下文检索的 Rerank 任务。

rwkv6_crossencoder 下载地址：https://huggingface.co/yueyulin/rwkv6_crossencoder

RWKV 学术研究相关

Music-Diff 音乐生成模型

来自大连理工大学的研究团队提出了 Music-Diff 架构，该架构引入了 Joint Semantic Pre-training 方法来执行多变量扰动，并引入了多分支降噪器 “Symb-RWKV” 模型来恢复联合分布的噪声（通过 Pareto 优化来适应多个噪声目标）。

实验表明，与语言模型相比，在音符和语义层面进行扰动的联合概率扩散模型可以提供更多样本多样性和组成规律性。

vvvae1234
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
词向量模型embedding-master.zip
04-28
在“embedding-master.zip”这个压缩包中，很可能包含了一个关于词向量模型的研究项目或者教程。下面我们将深入探讨词向量模型及其在NLP中的应用。 词向量模型的起源可以追溯到20世纪80年代的“词袋模型”（Bag-of-...
基于luotuo大语言模型的embedding方法
06-27
应用于向量搜素，文本匹配，文本聚类 ，少样本的分类学习，文本数据可视化，效果相比于传统的方法性能大幅度提升
中文小说模型、日语模型、embedding模型...RWKV社区8月动态速览！
rwkvteam的博客
08-30 637
欢迎大家收看《RWKV 社区最新动态》第四期，本期内容收录了 RWKV 社区 8 月的最新动态。
合合信息Embedding模型获得MTEB中文榜单第一
陈橘又青的博客
04-28 1万+
最近几年，可以说大语言模型汇聚了所有的光彩，大语言模型的飞速发展更是吸引着社会各界的目光，这些模型的强大能力源自于Embedding技术的支撑，这种技术将语言转化为机器可理解的数值向量。随着大型语言模型的不断突破，Embedding模型的关键性日益凸显，成为推动人工智能领域向前发展的核心动力。在这个充满无限可能的领域中，每一次技术的飞跃都预示着新的变革和机遇。
自己手写了一个大模型RAG项目-06.使用自己的embedding模型
qq_35054222的博客
05-26 1037
修改里面的Embedding部分，替换成自己本地部署的Embedding模型，并且尝试多模态和单模态两种方式
合合信息acge模型获C-MTEB第一，文本向量化迎来新突破
热门推荐
Hello大家好，我是Dream，如果帮得到你，那我深感荣幸！交流学习、商务合作：https://bbs.csdn.net/topics/614347534
08-29 5万+
在最近落幕的MTEB中文榜单（C-MTEB） 竞赛中，合合信息凭借其创新的文本向量化模型acge_text_embedding，登顶榜单第一。在当今时代，大型语言模型以其惊人的发展速度和广泛的应用前景，正成为全球科技界的瞩目焦点。这些模型的强大能力，源自于背后默默支撑它们的Embedding技术——一种将语言转化为机器可理解的数值向量的关键技术。随着大型语言模型的不断突破，Embedding模型的重要性日益凸显，成为推动人工智能领域向前发展的核心动力。
合合信息embedding模型登顶MTEB中文榜单：中文文本向量化技术的创新突破
商务合作 | 共同学习 | 携手共进
05-05 1万+
合合信息 embedding 模型登顶 MTEB 中文榜单：中文文本向量化技术的创新突破。
探索文本向量化的新高峰：合合信息acge_text_embedding 模型
m0_73367097的博客
04-26 6053
acge_text_embedding 模型
最强中文Embedding模型m3e和向量数据库Qdrant联动
happy game
02-28 3484
M3E 是的缩写Moka，此模型由 MokaAI 训练，开源和评测，训练脚本使用uniem，评测 BenchMark 使用MTEB-zhMassive，此模型通过千万级(2200w+) 的中文句对数据集进行训练Mixed，此模型支持中英双语的同质文本相似度计算，异质文本检索等功能，未来还会支持代码检索Embedding，此模型是文本嵌入模型，可以将自然语言转换成稠密的向量在大模型中使用向量数据库具有多方面的意义，特别是在处理大规模向量数据时。大模型通常需要处理大量的向量数据，如图像、文本、语音等。
大模型的 Embedding 模型该如何进行微调？
2201_75499313的博客
06-07 1941
本文重点介绍了如何使用 Sentence Transformers 对开源的Embedding模型进行微调，并验证Embedding模型微调后的效果。Sentence Transformers 是一个宝库，它介绍了关于Embedding模型方方面面的内容，是了解、深入Embedding模型必不可少的工具。后续笔者将会介绍Embedding模型量化、俄罗斯套娃嵌入模型（Matryoshka Representation Learning, MRL）等相关方面的内容。
模型的第一层：详解torch.nn.Embedding和torch.nn.Linear
qq_43391414的博客
10-15 1万+
文章目录1.概述2.Embedding2.1 全连接层2.2 Embedding层结尾 1.概述 torch.nn.Embedding是用来将一个数字变成一个指定维度的向量的，比如数字1变成一个128维的向量，数字2变成另外一个128维的向量。不过，这128维的向量并不是永恒不变的，这些128维的向量是模型真正的输入（也就是模型的第1层）（数字1和2并不是，可以算作模型第0层），然后这128维的向量会参与模型训练并且得到更新，从而数字1会有一个更好的128维向量的表示。 显然，这非常像全连接层，所以很多人说
《AI大模型应用》--基于BM25、BGE、OpenAI Embedding检索算法的检索增强生成RAG.zip
07-19
个人深耕AI大模型应用领域积累的成果，希望对您有所帮助。有大模型账号、环境问题、AI大模型技术应用落地方案等相关问题，欢迎详聊，能为您解决问题是我的荣幸！ 个人深耕AI大模型应用领域积累的成果，希望对您有所...
医学预训练语言模型.zip
01-07
初始化阶段，将每个词用BERT自带的Tokenizer切分为字，然后用字embedding的平均作为词embedding的初始化。模型使用单张24G的RTX训练了100万步（大概训练了10天），序列长度为512，学习率为5e-6，batch_size为16，...
《AI大模型应用》-Embedding检索算法的检索增强生成RAG示例，支持OpenAI风格的大模型服务.zip
07-10
基于BM25、BGE、OpenAI Embedding检索算法的检索增强生成RAG示例，支持OpenAI风格的大模型服务 个人深耕AI大模型应用领域积累的成果，希望对您有所帮助。有大模型账号、环境问题、AI大模型技术应用落地方案等相关...
【提效工具】AI工作流的1-10个实际落地场景
万物皆有灵
09-09 425
在这个快速发展的数字时代，人工智能（AI）正在以惊人的速度改变我们的工作方式。无论你是开发者、教育工作者还是内容创作者，AI工作流提示词助手都能为你提供无与伦比的支持。今天，我们将深入探讨，20个实际落地场景，帮助你更好地理解如何利用这些工具提升工作效率和创造力。💡。
基于人工智能的音乐情感分类系统
stm32d1219的博客
09-06 809
音乐作为一种强烈的情感表达方式，不同的音调、节奏和和声传递着不同的情感信息。通过人工智能技术，能够自动识别音乐中的情感，为用户提供个性化的音乐推荐或情感分析服务。通过使用MFCC特征提取与神经网络分类算法，音乐情感分类系统可以有效地分析音乐中的情感信息，并根据不同情感对音乐进行分类。随着深度学习技术的进一步发展，音乐情感分类系统的准确性和应用范围将得到进一步提升。音乐情感分类是通过对音乐音频信号进行分析，识别出音乐传递的情感，如“愉快”、“悲伤”、“愤怒”等。问题讨论，人工智能的资料领取可以私信！
深度学习算法，该如何深入，举例说明
最新发布
liyy614的博客
09-10 258
深度学习算法的深入学习可以从理论和实践两个方面进行。理论上，深入理解深度学习需要掌握数学基础（如线性代数、概率论、微积分）、机器学习基础和深度学习框架原理。实践上，可以通过实现和优化深度学习模型来提升技能。
图神经网络（2）预备知识
m0_63860007的博客
09-07 666
对于接触过数据结构和算法的读者来说，图并不是一个陌生的概念。如果图里的边不仅表示连接关系，而且具有表示连接强弱的权重，则这个。从图的某个顶点出发，沿着图中的边访问每个顶点且只访问一次，这叫作。在图上模拟一个热扩散的过程，φ(t)是图上每个顶点的热量分布，热量传播。如果一个图的每个边都有一个方向，则称这个图为有向图。图的同构指的是两个图完全等价。很显然，这个大于等于0的，所以L是半正定的。拉普拉斯矩阵的另一个重要作用是作为图上的离散拉普拉斯算子。然地，我们把拉普拉斯算子的特征函数换成拉普拉斯矩阵的特征。
更新nn.Embedding的参数，或者说nn.Embedding的参数本身也是模型参数的一部分。
05-26
是的，nn.Embedding的参数也是模型参数的一部分。因此，我们可以使用类似于更新其他模型参数的方法来更新nn.Embedding的参数。下面是一个示例，其中我们将使用随机梯度下降（SGD）优化器来更新nn.Embedding的参数: ```python import torch.nn as nn import torch.optim as optim # 定义一个nn.Embedding实例 embedding = nn.Embedding(10, 3) # 嵌入矩阵大小为10x3 # 定义一些示例输入数据 inputs = torch.LongTensor([1, 2, 4, 5, 1]) # 定义一个随机目标张量 target = torch.FloatTensor([[0.1, 0.2, 0.3], [0.4, 0.5, 0.6], [0.7, 0.8, 0.9], [0.1, 0.2, 0.3], [0.4, 0.5, 0.6]]) # 定义一个SGD优化器 optimizer = optim.SGD(embedding.parameters(), lr=0.1) # 循环训练数据 for i in range(100): # 首先将梯度缓存清零 optimizer.zero_grad() # 将输入数据传递给nn.Embedding实例 embedded = embedding(inputs) # 计算损失 loss = nn.MSELoss()(embedded, target) # 计算梯度 loss.backward() # 更新模型参数 optimizer.step() ``` 在上面的示例中，我们定义了一个nn.Embedding实例，它具有大小10x3的嵌入矩阵。我们创建了一些示例输入数据，在后面的循环中，我们向nn.Embedding传递这些输入数据，并将结果与随机目标张量进行比较。我们使用SGD优化器来更新nn.Embedding的参数，该优化器被传递给embedding.parameters()方法，以便更新nn.Embedding的参数。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值