居7然-CSDN博客

原创 MaxKB本地部署

MaxKB = Max Knowledge Base，是一款基于大语言模型和 RAG 的开源知识库问答系统，广泛应用于智能客服、企业内部知识库、学术研究与教育等场景。开箱即用：支持直接上传文档 / 自动爬取在线文档，支持文本自动拆分、向量化和 RAG（检索增强生成），有效减少大模型幻觉，智能问答交互体验好；模型中立。

2024-12-11 15:24:28 1118

RAGFlow 可以为各种规模的企业及个人提供一套精简的 RAG 工作流程，结合大语言模型（LLM）针对用户各类不同的复杂格式数据提供可靠的问答以及有理有据的引用。先来到个人中心，设置一下模型，我这里用的是OpenAI,将key填进去就可以了，当然也支持其他的模型，大家去申请相应的key就可以了。我这个是创建了一个知识库的样子，大家如果第一次试用，是没有这个知识库的。在你的浏览器中输入你的服务器对应的 IP 地址并登录 RAGFlow。接下来就可以进行测试了，我进行了测试，感觉效果还可以。

2024-12-11 14:15:33 2980

原创 RAG快速落地-阿里云百炼

大模型在最近两年特别火，相信大家或多或少都听说过，那么大模型落地的应用场景，个人觉得RAG是现在能落地的应用场景之一。

2024-12-10 22:23:51 685

原创 Ollama部署大模型，本地调用

Ollama是一个强大的大型语言模型平台，它允许用户轻松地下载、安装和运行各种大型语言模型。在本文中，我将指导你如何在你的本地机器上部署Ollama，并展示如何使用Python进行简单的API调用以访问这些模型最近很多人在学习大模型的时候，也遇到这个问题了，Ollama下载的模型，如果不想在命令行里面直接使用，而是想用Python去调用大模型该如何去使用？下载完成之后，可以在命令行中敲ollama，如果能看到下面的界面说明安装成功了可以拉一个大模型下来，我以llama3为例，

2024-12-10 22:20:25 1300

原创《大模型+爬虫》落地实战之12306查票

大语言模型，例如 GPT-4，拥有强大的知识储备和语言理解能力，能够进行流畅的对话、创作精彩的故事，甚至编写代码。然而，它们也面临着一些难以克服的困境，就像一个空有知识却无法行动的巨人。

2024-12-09 14:28:23 1354

原创震惊！！大模型玩转JS逆向

虽然这个案例还不能说明什么，但是大模型在面对JS逆向的代码混淆，可以给大家一个思路，可以根据这个思路来进行还原。强烈建议爬虫工程师学习一下大模型！不知道大家有没有被JS代码混淆折磨过，我之前搞爬虫的时候，也经常被OB代码混淆搞到心态崩溃，但是自从接触了大模型，腰不疼了，腿不酸了，OB代码直接交给大模型，简直不要太爽。大家也可以自行解一下，看看和大模型最终解出来的结果进行对比。我放一个ChatGPT3.5的截图。这是一段经过OB混淆之后的代码。

2024-12-09 14:26:13 947

原创《爬虫+大模型》到底有没有搞头？

这个框架，发送请求、数据提取，全都交给了大模型去处理，整体代码非常的简洁，只需要url地址和提示词(prompt)就可以了，非常的nice啊，目前还没有测试有反爬虫的网站，大家可以测试一下。这段代码就是去获取页面HTML，然后交给大模型去提取数据，大家自己做测试的时候，可以把HTML的范围缩小一点，不然token可能会超。最近在学习大模型，之前我是干过一段时间爬虫，在学习大模型的过程中，突发奇想能不能把大模型的能力结合爬虫，搞个AI爬虫玩一玩。说干就干，先测试一下大模型的数据提取能力。

2024-12-06 20:25:47 307

原创 AI时代，大模型可能会干掉爬虫工程师

说实话，测试完之后我是相当的震惊，这意味着爬虫工程师可能真的不需要学习太多的知识了，当然这只是我的片面的认知，爬虫工程师之前要学习JS逆向，等一大堆的技术，有了大模型的能力，爬虫工程师可能只要考虑如何获取到HTML，如何写prompt提示词就可以了，这大大降低了爬虫的难度。最近在学习大模型的知识，当我学到了prompt，发现这个东西可以做很多事情，偶然间想到了爬虫，如果让大模型去搞数据提取工作，我只给大模型HTML代码，写好prompt，岂不是美滋滋。说干就干，拿到豆瓣的电影列表HTML代码。

2024-12-06 17:01:17 157