Jina Reader：一键将网页内容转为适合 LLM 处理的文本格式，自动抓取和清洗网页内容，支持多种输出格式

最新推荐文章于 2025-03-15 18:37:06 发布
最新推荐文章于 2025-03-15 18:37:06 发布
阅读量1.8k 收藏 25
点赞数 13
分类专栏： 每日 AI 项目与应用实例 文章标签： jina 人工智能 开源
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_19841021/article/details/144919992
版权

❤️ 如果你也关注 AI 的发展现状，且对 AI 应用开发非常感兴趣，我会每日跟你分享最新的 AI 资讯和开源应用，也会不定期分享自己的想法和开源实例，欢迎关注我哦！

🥦 微信公众号｜搜一搜：蚝油菜花 🥦

🚀 快速阅读

  1. 功能：Jina Reader 能够将网页内容转换为适合 LLM 处理的纯文本格式，支持多种输出格式。
  2. 技术：基于网页抓取、内容清洗、自然语言处理等技术，确保提取内容的准确性和结构化。
  3. 应用：适用于内容聚合、SEO 优化、学术研究、客户服务等多种场景。

正文（附运行示例）

Jina Reader 是什么

公众号: 蚝油菜花 - reader

Jina Reader 是 Jina AI 推出的开源工具，旨在将互联网上的 HTML 网页内容转换为适合大型语言模型（LLMs）处理的纯文本格式。用户只需在网址前添加特定前缀，即可快速提取网页的主要内容，并用结构化文本形式输出，去除不必要的 HTML 标签和脚本。

该工具支持多种内容格式，包括 Markdown、HTML、Text 等，并具备流模式、JSON 模式和自动为图片生成描述的 Alt 生成模式，能够增强 LLMs 对网页内容的理解。

Jina Reader 的主要功能

  • 网页内容提取：将 HTML 网页转换为纯文本格式，去除不必要的标签和脚本。
  • 格式选择：支持将网页内容输出为 Markdown、HTML、Text、Screenshot、Pageshot 等多种格式。
  • 流模式：适用于大型和动态网页，支持更长时间的页面渲染，确保内容的完整性。
  • JSON模式：输出包含 URL、标题和内容的结构化 JSON 数据，便于后续处理。
  • Alt生成模式：为缺少 alt 标签的图片自动生成描述，帮助 LLMs 更好地理解网页中的图像内容。
  • 目标选择器和等待选择器：用 CSS 选择器指定页面中特定部分的内容提取，或等待特定元素出现后再提取内容。

Jina Reader 的技术原理

  • 网页抓取与解析：使用网络爬虫技术抓取网页内容，基于 HTML 解析器解析网页的 DOM 树结构，提取出网页的文本内容。
  • 内容清洗与结构化：清洗 HTML 标签、JavaScript 代码和 CSS 样式，只保留纯文本内容，并识别和提取网页中的标题、段落、链接、图片等结构化元素。
  • 自然语言处理（NLP）：对提取的文本进行自然语言处理，提高文本的质量，例如去除停用词、词干提取等，并生成图像的替代文本（alt text）。
  • 动态内容处理：对于单页应用程序（SPA）和动态加载的内容，使用如 Puppeteer 这样的无头浏览器模拟用户交互，等待 JavaScript 执行完成，捕获最终的页面内容。
  • 流式处理与实时解析：支持流式解析网页内容，对于大型和动态网页尤为重要，能实时处理网页内容。

如何运行 Jina Reader

1. 使用 r.jina.ai 提取单个网页内容

只需在目标 URL 前添加 https://r.jina.ai/ 前缀即可。例如，提取维基百科关于人工智能的页面内容：

curl https://r.jina.ai/https://en.wikipedia.org/wiki/Artificial_intelligence
2. 使用 s.jina.ai 进行网页搜索

在搜索查询前添加 https://s.jina.ai/ 前缀。例如，搜索“2024 年美国总统大选谁会赢？”：

curl https://s.jina.ai/Who%20will%20win%202024%20US%20presidential%20election%3F
3. 使用流模式处理动态网页

对于动态加载的网页，可以使用流模式确保内容的完整性：

curl -H "Accept: text/event-stream" https://r.jina.ai/https://en.m.wikipedia.org/wiki/Main_Page

资源

❤️ 如果你也关注 AI 的发展现状，且对 AI 应用开发非常感兴趣，我会每日跟你分享最新的 AI 资讯和开源应用，也会不定期分享自己的想法和开源实例，欢迎关注我哦！

🥦 微信公众号｜搜一搜：蚝油菜花 🥦

Jina AI/Reader：将 URL 和 PDF 内容自动化提取并转换为 LLM 可处理文本
blues_C的博客
01-07 1283
将网页信息输入到大语言模型（LLM）是一个技术挑战。虽然最简单的方法是直接抓取原始 HTML 内容，但这种方式往往不适合直接输入到 LLM 中；在实际抓取时，可能会遇到多种复杂情况，包括网页抓取被反制、HTML 页面中混杂着无关的标记、脚本及样式等，这些都会影响信息提取的质量；Jina AI 是一家专注于搜索与人工智能的创新公司，致力于提供先进的搜索解决方案。其技术帮助开发者和企业构建高效且智能的搜索系统，能够处理多种数据类型并满足复杂查询的需求；
大模型应用—大模型赋能网络爬虫
热门推荐
07-20 4万+
当然，没有一种网页抓取工具是适合所有人的。你更喜欢老派的传统网页抓取工具还是LLM赋能的？
本地部署Jina AI Reader：用Docker打造你的智能解析引擎
最新发布
engchina的专栏
03-15 2243
本地部署Jina AI Reader：用Docker打造你的智能解析引擎
Jina AI 发布 Reader-LM-0.5B 和 Reader-LM-1.5B：为网络数据处理提供多语种、长语境和高效小语言模型，彻底改变 HTML 到 Markdown 的转换方式
weixin_41446370的博客
09-16 1939
Jina AI 发布了两个小型语言模型：Reader-LM-0.5B 和 Reader-LM-1.5B。这两个模型经过专门训练，可以将原始 HTML 转换为标记符，而且都是多语言模型，支持多达 256K 字节的上下文长度。这种处理大型上下文的能力至关重要，因为现代网站的 HTML 内容通常包含比以往更多的噪音，内联 CSS、JavaScript 和其他元素都会使标记数大幅增加。大型语言模型以计算要求高而著称，而像 Reader-LM 这样的小型语言模型则旨在提供高效的性能，而无需昂贵的基础设施。
【AI】Jina Reader 将URL内容转为Markdown的工具
SimonLiu的博客
12-14 1240
Jina AI 是一个专注于非结构化数据处理的开源神经搜索框架，它提供了一套完整的工具和框架来简化搜索引擎和推荐系统等应用程序的开发。Jina 支持视频、图像、文本等多种类型的数据，并允许快速索引和查询。Jina 的核心理念是实现模块化和可插拔式的搜索系统，使得开发者可以专注于业务逻辑而不必从头开始构建底层搜索功能。
开源项目安装教程：jina-ai/reader
gitblog_01257的博客
10-18 1201
开源项目安装教程：jina-ai/reader reader Convert any URL to an LLM-friendly input with a simple prefix https://r.jina.ai/ 项目地...
开源项目 Jina AI Reader 使用教程
gitblog_00116的博客
08-12 1295
开源项目 Jina AI Reader 使用教程 项目地址:https://gitcode.com/gh_mirrors/rea/reader 1. 项目的目录结构及介绍 jina-ai-reader/ ├── README.md ├── requirements.txt ├── setup.py ├── jina_reader/ │ ├── __init__.py │ ├── main....
5款可用于LLMs的数据抓取工具方案源码.zip
02-03
特点: 高效数据提取，支持LLM格式，多URL支持，易于集成和Docker容器化。 2、FireCrawl 功能: 抓取网站的所有可访问子页面，并转换内容为干净的Markdown格式。 特点: 适用于JavaScript动态生成的内容网站，提供易用...
DeepSearch 与 DeepResearch 的设计和实现
02-28 2778
DeepSearch 的核心理念是通过在搜索、阅读和推理三个环节中不断循环往复，直到找到最优答案。搜索环节利用搜索引擎探索互联网，而阅读环节则专注于对特定网页进行详尽的分析（例如使用 Jina Reader）。推理环节则负责评估当前的状态，并决定是应该将原始问题拆解为更小的子问题，还是尝试其他的搜索策略。DeepSearch - 持续搜索、阅读网页、推理，直到找到答案（或超出 token 预算)。
大模型知识库关键技术组件
solar7799的博客
08-03 870
RAG的三个方面的挑战，检索质量、增强过程和生成质量，哪些组件工具可以解决
【AIGC调研系列】Jina的Reader API是什么
zachary的博客
04-17 3012
Jina的Reader API是一个能够将任何网址转换成对大型语言模型（LLM）友好的输入格式的工具。用户只需在URL前添加简单的前缀"https://r.jina.ai/"，即可实现这一转换，从而为使用代理和检索生成系统的用户提供改善后的输出结果[1][2]。这个API操作简单，不需要API密钥，且绝大部分网页能在2秒内处理完毕，显著改善了基于LLM的自动化系统输出质量[4]。
Reader：一键将URL转换为LLM内容格式输入的神器！
AI生成式技术曾小健
07-10 1029
Reader，由 Jina AI 精心打造的创新开源工具，专注于提升大型语言模型（LLMs）的输入品质。这款工具不仅免费、稳定，还具备强大的可扩展性，堪称 Jina AI 核心产品中的佼佼者。
ReaderLM v2：HTML 转 Markdown 和 JSON 的前沿小型语言模型
Jina AI 的博客
01-16 1419
2024 年 4 月，我们发布了 Jina Reader(https://jina.ai/reader)，这是一个非常实用的 API，用户只需在 URL 前添加 r.jina.ai 前缀，就能将任何网页转换为大模型友好的 Markdown。紧接着，在同年 9 月，我们又发布了两款专门用于将原始 HTML 转换为干净 Markdown 的小型语言模型: reader-lm-0.5b 和 reader...
Reader-LM：将原始HTML转换为干净Markdown的小型语言模型
2401_84208172的博客
09-26 1493
2024 年 4 月，我们发布了 Jina Reader，一个简单实用的 API，只需要在网址前面加个 r.jina.ai，就能把网页变成大型语言模型（LLM）喜欢的 Markdown 格式。Jina Reader 背后的技术很复杂，但核心的“读取”部分相对简单：首先，我们使用无头浏览器读取网页代码，接着用 Mozilla 的 Readability 提取主要内容，去掉头部、底部、导航栏、侧边栏等元素。再用正则表达式和 Turndown 库把清理好的 HTML 变成 Markdown。
Jina Classifier API：高性能的零样本和小样本分类器
Jina AI 的博客
10-23 1073
分类是向量模型的常见下游应用。文本向量模型可以用来识别垃圾邮件或进行情感分析。对于多模态向量模型，比如 jina-clip-v1，可以被用于基于内容的筛选和标签标注等任务。最近，向量模型还充当了大模型路由器（LLM router）的角色，根据任务的复杂性和成本选择合适的模型：将简单的算术问题分配给小模型，将复杂的推理任务交由更强大的大模型。今天，我们 Jina AI 搜索底座推出了一款高性能分类器...
5 个不错的开源 AI 网络爬虫工具
codingpy的博客
05-27 4160
你好，我是坚持分享干货的 EarlGrey，翻译出版过《Python编程无师自通》、《Python并行计算手册》等技术书籍。如果我的分享对你有帮助，请关注我，一起向上进击。简单地说，网络爬虫就是从网站上抓取数据和内容，然后以 XML、Excel 或 SQL 的形式保存数据。除了潜在客户挖掘、竞争对手监控和市场调研之外，网络爬虫工具还可用于实现数据收集过程的自动化。在人工智能网络爬虫工具的帮助下，可...
搜索引擎AP调研报告
Angus
07-11 1473
这篇文章分享给做AI搜索的朋友们。少走一些重复的路把。希望这些结果能够帮到大家。 这里再分享一些心得。其实我们也在想，为什么现在已经有的AI搜素，他们的联网查询为何这么快？为什么这么稳定？像国内AI搜索做的比较好的，kimi，秘塔，360ai搜索。其中秘塔是被猎豹控股的（猎豹本身就是做搜索引擎的），360浏览器本身也是做搜索引擎的。他们的联网搜索并不是走的爬取网页的方式。前段时间分析过kimi的联网查询，大概率是bing的接口。不过现在就不一定了。
LLM生态下爬虫程序的现状与未来
2401_82469710的博客
05-10 1336
最近出现一批与LLM有关的新的爬虫框架，一类是为LLM提供内容抓取解析的，比如 Jina Reader 和 FireCrawl ，可以将抓取的网页解析为markdown这样的对LLM友好的内容，例如markdown，这类本质上还是传统的爬虫解决方案。
使用jina将分词转为词向量
05-21
在 Jina 中，可以使用 executors 来实现将分词转为词向量的功能。常见的词向量模型有 Word2Vec、GloVe、FastText 等，这里以使用预训练的 Word2Vec 模型为例。 首先，在 `jina/exectuors/` 目录下创建一个新的 Python 文件，例如 `word2vec.py`。然后，导入 gensim 库和 BaseExecutor 类： ```python from gensim.models import KeyedVectors from jina.executors import BaseExecutor ``` 在 `word2vec.py` 文件中，定义一个 Word2VecExecutor 类，继承自 BaseExecutor 类，用于加载预训练的 Word2Vec 模型和将分词转为词向量： ```python class Word2VecExecutor(BaseExecutor): def __init__(self, model_path='data/word2vec.bin', *args, **kwargs): super().__init__(*args, **kwargs) self.model_path = model_path self.model = KeyedVectors.load_word2vec_format(model_path, binary=True) def encode(self, data, *args, **kwargs): return self.model[data] ``` 在 `__init__` 方法中，加载预训练的 Word2Vec 模型。在 `encode` 方法中，将分词作为输入数据，使用模型将其转为词向量，并返回结果。 最后，将这个 executor 添加到 Jina 流程中。在 `jina/config.yml` 文件中添加以下代码： ```yaml executors: - name: word2vec py_modules: word2vec metas: py_modules_version: '1.0' parameters: model_path: data/word2vec.bin flows: encode: uses: word2vec ``` 这个配置文件中，定义了一个名为 `word2vec` 的 executor，并指定预训练模型的路径。在 `flows` 中，使用 `word2vec` executor 将输入数据转为词向量。 现在，使用以下代码启动 Jina： ```bash jina pod --uses config.yml --port-in 55555 --port-out 55556 ``` 在另一个终端中，可以使用以下代码测试这个 executor： ```python from jina import Client, Document client = Client(port=55555) doc = Document(text='hello world') resp = client.encode([doc], output_fn=lambda x: x[0].embedding) print(resp) ``` 这个代码会将字符串 `'hello world'` 转为词向量，并输出结果。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值