社区面对面:在 Jina 中使用 RocketQA

文章导读

北京时间 1 月 11 日(周二)23:00,Jina AI Co-founder & CTO 王楠,与 Jina AI DevRel Team Lead  Alex CG,将为大家带来 RocketQA,以及 multimodal fashion search 的相关分享,欢迎阅读原文订阅相关分享。

54a8be5e8797f734a623eb84d8030a3d.png

 关于 Jina 

Jina 是一个基于深度学习的神经搜索框架,可用于在云端搭建跨模态或多模态搜索系统。它具有以下特点:

支持所有数据类型:可以对任何类型的非结构化数据,进行大规模索引和查询,包括但不限于视频、图像、文本、音频、代码、PDF 等。

云原生:分布式架构、可扩展及云原生的设计,支持容器化、分布式及与 REST/gRPC/WebSocket 的异步调度等 。

高效便捷:利用 Jina,仅用几十行代码就可以快速搭建一个神经搜索系统,无需维护复杂的工具链。

拥有自己的堆栈:100% 拥有解决方案端到端堆栈的所有权。

 关于 EAH 

EAH 全称 Engineering All Heads,是由 Jina 每月发起的社区面对面技术分享活动,旨在帮助开发者了解神经搜索,并尝试用 Jina 搭建自己的神经搜索应用。

参与本期 EAH,你将了解:

  • 百度 RocketQA 与 Jina 背后的故事

  • 如何用 Jina 搭建一个多模态 fashion search 系统

 活动详情 

直播时间:2022.1.11 23:00(北京时间)

观看地址:

Zoom:jina-ai.zoom.us/j/85927238105

YouTube:youtube.com/c/JinaAI/

了解 Jina:github.com/jina-ai/

备注:本次分享为全英文分享

欢迎访问:

meetup.com/jina-community-meetup/events/279857968/

或点击阅读原文,预约本次直播。

明天晚上 23:00,不见不散~

af73c6b3b1f692d1fdba0daf1ed1c8ea.png

下一代开源神经搜索引擎

在 GitHub 找到我们

更多精彩内容(点击图片阅读)

b62b5c50c3097e5ee4b585c9470d0ee4.png

10a4cb1f2eca6ddb0e4979ac9ce634b2.png

  • 0
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Jina ,可以使用 executors 来实现将分词转为词向量的功能。常见的词向量模型有 Word2Vec、GloVe、FastText 等,这里以使用预训练的 Word2Vec 模型为例。 首先,在 `jina/exectuors/` 目录下创建一个新的 Python 文件,例如 `word2vec.py`。然后,导入 gensim 库和 BaseExecutor 类: ```python from gensim.models import KeyedVectors from jina.executors import BaseExecutor ``` 在 `word2vec.py` 文件,定义一个 Word2VecExecutor 类,继承自 BaseExecutor 类,用于加载预训练的 Word2Vec 模型和将分词转为词向量: ```python class Word2VecExecutor(BaseExecutor): def __init__(self, model_path='data/word2vec.bin', *args, **kwargs): super().__init__(*args, **kwargs) self.model_path = model_path self.model = KeyedVectors.load_word2vec_format(model_path, binary=True) def encode(self, data, *args, **kwargs): return self.model[data] ``` 在 `__init__` 方法,加载预训练的 Word2Vec 模型。在 `encode` 方法,将分词作为输入数据,使用模型将其转为词向量,并返回结果。 最后,将这个 executor 添加到 Jina 流程。在 `jina/config.yml` 文件添加以下代码: ```yaml executors: - name: word2vec py_modules: word2vec metas: py_modules_version: '1.0' parameters: model_path: data/word2vec.bin flows: encode: uses: word2vec ``` 这个配置文件,定义了一个名为 `word2vec` 的 executor,并指定预训练模型的路径。在 `flows` 使用 `word2vec` executor 将输入数据转为词向量。 现在,使用以下代码启动 Jina: ```bash jina pod --uses config.yml --port-in 55555 --port-out 55556 ``` 在另一个终端,可以使用以下代码测试这个 executor: ```python from jina import Client, Document client = Client(port=55555) doc = Document(text='hello world') resp = client.encode([doc], output_fn=lambda x: x[0].embedding) print(resp) ``` 这个代码会将字符串 `'hello world'` 转为词向量,并输出结果。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值