5款可用于LLMs的爬虫工具/方案

已于 2024-05-12 15:16:04 修改
阅读量1.1k 收藏 5
点赞数 43
文章标签： 爬虫
于 2024-05-12 15:14:41 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/fwh66/article/details/138756404
版权

5款可用于LLMs的爬虫工具/方案

  1. Crawl4AI
    功能: 提取语义标记的数据块为JSON格式，提供干净的HTML和Markdown文件。
    用途: 适用于RAG（检索增强生成）、微调以及AI聊天机器人的开发。
    特点: 高效数据提取，支持LLM格式，多URL支持，易于集成和Docker容器化。
    GitHub: https://github.com/unclecode/crawl4ai
  2. FireCrawl
    功能: 抓取网站的所有可访问子页面，并转换内容为干净的Markdown格式。
    特点: 适用于JavaScript动态生成的内容网站，提供易用的API。
    GitHub: https://github.com/mendableai/firecrawl
  3. Scrapegraph-ai
    功能: 使用LLM和直接图形逻辑创建网站和本地文档的抓取流程。
    特点: 自动执行数据抓取任务，用户只需指定信息类型。
    GitHub: https://github.com/VinciGit00/Scrapegraph-ai
  4. Markdowner
    功能: 将网站快速转换为Markdown数据。
    特点: 支持自动爬虫、详细模式、JavaScript网站等，易于扩展和自托管。
    GitHub: https://github.com/dhravya/markdowner
  5. Jina Reader
    功能：将任何URL转化为LLM所需的Markdown格式
    特点：可以针对这些内容集成不同的模型，支持API
    GitHub：https://github.com/jina-ai/reader
    在这里插入图片描述
文浩Marvin
关注
  • 43
    点赞
  • 踩
  • 5
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 1
    评论
Dataset之NLP之LLMs：大模型核心技术—大语言模型LLMs相关开源数据集的简介(三类数据集【预训练数据/微调数据/测试数据】)、下载(国内外开源数据集平台总结)、使用方法之详细攻略
近期请国内外头部出版社可尽快私信博主！——心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，谦虚，自律，反思，成长，还算是比较正能量的博主，公益免费传播……内心特别想在AI界做出一些可以推进历史进程影响力的东西(兴趣使然，有点小情怀，也有点使命感呀)…
08-27 1434
​ Dataset之NLP之LLMs：大模型核心技术—大语言模型LLMs相关开源数据集的简介(三类数据集【预训练数据/微调数据/测试数据】)、下载(国内外开源数据集平台总结)、使用方法之详细攻略 目录 相关文章 LLMs相关开源数据集的简介 LLMs相关开源数据集的下载 LLMs相关开源数据集的使用方法 相关文章 LLMs：《A Survey of Large Language Models大语言模型综述》的翻译与解读(一
【AI人工智能】用于代码生成的大型语言模型 Large Language Models for Code Generation
禅与计算机程序设计艺术
06-09 1万+
大型语言模型通常采用Transformer等注意力机制架构,能够有效捕获输入序列中长程依赖关系。具体而言,编码器将输入序列映射为上下文表示,解码器则根据上下文和已生成的部分序列预测下一个token。代码生成任务中的输入序列可以是自然语言的问题描述、函数签名、测试用例等形式。模型通过学习大量的代码-自然语言语料对,建立两者之间的映射关系。在生成阶段,给定输入序列,解码器基于学习到的知识逐步推理和生成目标代码。
Python爬虫必备工具大盘点
白帽阿叁的博客
09-28 3062
在当今信息化时代，网络爬虫成为获取大量数据的一种重要手段。而要开发一款高效、稳定的网络爬虫，离不开一系列强大的爬虫工具。本文将为您盘点一些爬虫必备的工具，帮助您快速构建出具有实际价值的网络爬虫。让我们一起探索吧！一、请求库1.Requests：这是Python中最流行的HTTP请求库之一。它简洁易用，支持各种请求方式，并且提供了丰富的功能和灵活的扩展机制，是构建网络爬虫的绝佳选择。二、解析库1.BeautifulSoup：是一种用于解析HTML和XML文档的Python库。
NLP：自然语言处理技术最强学习路线之NLP简介(岗位需求/必备技能)、早期/中期/近期应用领域(偏具体应用)、经典NLP架构(偏具体算法)概述、常用工具/库/框架/产品、环境安装(更新中)
近期请国内外头部出版社可尽快私信博主！——心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，谦虚，自律，反思，成长，还算是比较正能量的博主，公益免费传播……内心特别想在AI界做出一些可以推进历史进程影响力的东西(兴趣使然，有点小情怀，也有点使命感呀)…
12-05 5万+
​ NLP：自然语言处理技术最强学习路线之NLP简介(岗位需求/必备技能)、早期/中期/近期应用领域(偏具体应用)、经典NLP架构(偏具体算法)概述、常用工具/库/框架/产品、环境安装(更新中) 目录 NLP自然语言处理技术最强学习路线 ☆☆一、自然语言处理技术的简介 ☆☆二、自然语言处理技术相关概念简介 ☆☆四、NLP具体应用领域(
Elastic 网络爬虫：为你的网站添加搜索功能
Elastic 中国社区官方博客
04-20 2247
从我们的第一次爬取中，我们注意到 category 页面也被爬取了，而我们对它们不感兴趣，所以让我们将它们排除在爬取之外。在爬取规则下，添加一个新规则来禁止爬取以路径模式 /catalogue/category/ 开头 (Begins with) 的页面。现在我们可以在新规则生效的情况下重新进行一次爬取。注意：作为探索过程的一部分，每次更改网络爬虫配置时，我建议删除内容。在最后一章 “准备生产部署” 中，我们将看到如何在不手动删除数据的情况下重新运行网络爬虫。
LLMs：《A Survey of Large Language Models大语言模型综述》的翻译与解读(一)之序言(挑战+LM四阶段+LLM与PLM的三大区别)、概述(两个代表性扩展定律/涌现能力
近期请国内外头部出版社可尽快私信博主！——心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，谦虚，自律，反思，成长，还算是比较正能量的博主，公益免费传播……内心特别想在AI界做出一些可以推进历史进程影响力的东西(兴趣使然，有点小情怀，也有点使命感呀)…
07-05 4576
​ LLMs：《A Survey of Large Language Models大语言模型综述》的翻译与解读(一)之序言(挑战+LM四阶段+LLM与PLM的三大区别)、概述(两个代表性扩展定律/涌现能力三种典型/六大关键技术+GPT系列技术演进)、资源(开源模型/闭源API+六类语料库+三种框架库) LLMs：大型语言模型发展综述—序言(挑战+LM四阶段+LLM与PLM的三大区别)、概述(两个代表性扩展定律/涌现能力三种典型/六大关键技术+GPT系列技术演进)、资源(开源模型/闭源API
LLMs模型速览（GPTs、LaMDA、GLM/ChatGLM、PaLM/Flan-PaLM、BLOOM、LLaMA、Alpaca）
qq_56591814的博客
06-18 1万+
本文介绍了一些LLMs基础模型和微调模型，例如GPTs、LaMDA、GLM/ChatGLM、PaLM/Flan-PaLM、BLOOM、LLaMA、Alpaca
AGI之Agent：Agent(一种训练LLM模拟人类在现实世界中各种规则和行为系统)的简介、部署应用及其框架、代表性案例(单智能体(BabyAGI/AutoGPT/HuggingGPT/GPT-En
近期请国内外头部出版社可尽快私信博主！——心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，谦虚，自律，反思，成长，还算是比较正能量的博主，公益免费传播……内心特别想在AI界做出一些可以推进历史进程影响力的东西(兴趣使然，有点小情怀，也有点使命感呀)…
06-17 940
Agent的实战部署应用LLMs之ChatGLM3：ChatGLM3/ChatGLM3-6B的简介(多阶段增强+多模态理解+AgentTuning技术)、安装和使用方法、案例应用(实现多轮对话能力(Chat)、工具调用能力(-CSDN博客LLMs之GLM-4：GLM-4的简介(全覆盖【对话版即ChatGLM4的+工具调用+多模态文生图】能力→Agent)、安装和使用方法、案例应用之详细攻略-CSDN博客2、部署框架T1、基于。
博客目录与概览
热门推荐
冯·诺依曼
08-31 42万+
从即日起，我将开始开始着手写作《深入理解机器学习》分类下的文章。《深入理解机器学习》不仅仅把目光局限机器学习算法的推导与实现，更多的会将目光聚焦于从数学、统计学以及统计学习的角度来深入理解机器学习算法，除此之外，我还会讨论各个机器学习算法局限与瓶颈，纵横向比较各种机器学习算法的优劣等。在详细介绍机器学习算法的同时，我还会通过Python和Scala给出相关项目的实战代码。所以，想深入学习机器学习的..............................
langchain-使用langchain构建LLMs应用实例.zip
02-23
langchain langchain_使用langchain构建LLMs应用实例
lms.rar_LLMS_RLS_llms matlab_mean
09-24
Least mean square algorithim , Leaky llms and Rls
大型语言模型（Large Language Models，LLMs）概览.docx
08-31
大型语言模型（Large Language Models，LLMs）概览
ChatGLM3 series: Open Bilingual Chat LLMs - 开源双语对话语言模型
02-06
ChatGLM3 series: Open Bilingual Chat LLMs | 开源双语对话语言模型
python爬虫[简易版]
Gavin
05-15 451
接下来就是分析返回的数据,解析数据~拿出图片的url。第一步:打开网站,分析图片的数据源来自哪里,发现我们要的数据原来自这里,
爬虫基础入门简介
m0_56967679的博客
05-18 513
互联网是由一个一个的超链接组成的，从一个网页的链接可以跳到另一个网页，在新的网页里，又有很多链接。理论上讲，从任何一个网页开始，不断点开链接、链接的网页的链接，就可以走遍整个互联网！这个过程是不是像蜘蛛沿着网一样爬？这也是“爬虫”名字的由来。作为爬虫工程师，就是要写出一些能够沿着网爬的”蜘蛛“程序，保存下来获得的信息。一般来说，需要爬出来的信息都是结构化的，如果不是结构化的，那么也就没什么意义了（百分之八十的数据是非结构化的）。
python爬虫登录到海康相机管理页面
Zlucien的博客
05-21 350
python爬虫登录到海康相机管理页面
如何关闭或者减少屏蔽 CloudFlare 的真人检测
最新发布
草根博客站长明月登楼的CSDN博客
05-22 190
明月在实测的时候发现 Privacy Pass 扩展会跟浏览器的代理扩展有冲突，这可能会影响到访问境外站点的体验，需要根据自己的情况设置排查一下。并且，基于安全考虑，明月其实也是不建议大家关闭这个【浏览器完整性检查】的，尤其是国内安全防护不足的站点，毕竟现在恶意的爬虫和自动程序太多，太防不胜防了！安全第一、安全第一嘛！
Python 爬虫编写入门
wbryze的博客
05-20 1242
网络爬虫（Web Crawler）或称为网络蜘蛛（Web Spider），是一种按照一定规则，自动抓取互联网信息的程序或者脚本。它们可以自动化地浏览网络中的信息，通过解析网页内容，提取所需的数据，并保存下来供后续分析使用。需要替换为实际要爬取的网页 URL。另外，为了运行上述代码，你需要先安装。这两个 Python 库。
llms的embedding方法
07-25
LLMs的embedding方法可以通过将待分析的文本转化为embedding向量来实现。这可以使用原始的LLMs生成embedding向量，这样可以方便地操作，并在检索过程中保留LLMs的"思维过程"。首先，需要将所有文档中的文本转化为embedding向量，并将这些原始文本的embedding向量和原数据存储在Milvus中。在查询时，可以使用相同的模型将问题转化为embedding向量，然后搜索相似性高的相关问题，并将这些相关问题作为输入，生成答案。这种方法可以结合其他推荐系统技术一起使用，以避免一些缺点并获得更好的效果。例如，可以提取基于嵌入的特征用于协同过滤，或与"Two Tower"架构结合使用等等。\[1\]\[2\] #### 引用[.reference_title] - *1* [探索将大语言模型用作推荐系统](https://blog.csdn.net/Baihai_IDP/article/details/130679043)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^control_2,239^v3^insert_chatgpt"}} ] [.reference_item] - *2* [LLMs 诸神之战：LangChain ，以【奥德赛】之名](https://blog.csdn.net/weixin_44839084/article/details/130731843)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^control_2,239^v3^insert_chatgpt"}} ] [.reference_item] - *3* [使用langchain打造自己的大型语言模型(LLMs)](https://blog.csdn.net/weixin_42608414/article/details/129493302)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^control_2,239^v3^insert_chatgpt"}} ] [.reference_item] [ .reference_list ]

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

文浩Marvin

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值