XZH_iD的博客

即可将文件以http的形式运行在本地的8888端口，又因为之前运行了frp端口映射，因此直接访问云服务器所在IP直接可以运行。刚开始将前端的开发环境直接映射到云端，虽然可以顺利访问，但是由于开发时没有经过优化，出现了加载速度过慢的情况。增加配置，将主机上的想要映射的前端端口，通过frp映射到云服务器的80端口。还是按照普通操作将vue项目打包成了dist文件夹。运行bat脚本文件，开始frp服务。在dist文件夹内，只需要简单的运行。但是上传文件进行部署还是非常困难。经过技术选型，找到了。

增加配置，将主机上的后端所在的8080端口，通过frp映射到云服务器的8888端口。请求的网址，发现连接成功，得到了对应的输出。运行bat脚本文件，开始frp服务。这是我们项目配置的一个。

实现个性化推荐功能。经过之前的开发，已经实现了根据关键词查询网页的Selenium脚本、Selenium的Flask化形成一个接口服务、Frp将本地服务映射到远程也能访问。但是Selenium的反应过慢，大约需要5分钟才能爬取完毕，这显然不可能作为一个用户功能。本次开发的任务是根据爬取的标题，调用AI提取出关键词、存入数据库，调用推荐功能时可以根据关键词进行推荐，也可以随机推荐一些内容、增加推荐内容的多样性。后续再实现根据用户点击内容分析用户的兴趣、提取关键词、推荐热点等功能。

基于ollama部署微调模型。

大模型对于通用知识的理解能力较强，但是对于专业知识还有一些欠缺，微调模型可以直接把专业知识输入给大模型，增加专业能力和功能性。

AnythingLLM是一个图形化的工具，想要在项目中使用，就必须使用API调用。好在AnythingLLM提供了这样的工具。

AnythingLLM将文本文件矢量化，存入矢量数据库中，在后续进行提问时，将问题也转换为矢量数据前往矢量数据库中寻找，达到Anything都转化为LLM的效果。

ollama是一个集成了许多模型的工具，自带实现了API的整合和调用，只需要命令就可以运行一些支持的常见大模型，且支持对gguf类型的模型进行部署。微调模型可以直接压缩成这个类型的文件，对后续微调模型提供基础。

通义千问7B模型启动使用阿里提供的ModelScope Library，经过长时间的依赖安装，成功运行。但是ModelScope的实例不够稳定且无法联网调用，这对开发造成了许多困难，因此还是需要本地部署。

开始前端开发，经过调研比较各模板，决定使用vue-admin-template轻量级后台管理系统。接下来完成对模版的克隆、分析、简化、环境配置的工作。对项目目录中的配置完成以及简化之后，启动。进入```main.js``项目目录结构及主要部分说明。使用命令行工具进行安装。,对页面布局进行修改。，删除不需要的路由。

这里只展示了关键代码，实际的代码中通过对一些关键词的查找、分割后数组的大小可判断是否顺利生成，若没有顺利生成则会返回别的错误码。接下来完成一个POST接口，接收文件和需求，将其拼接为Prompt中输入给AI的格式。故使用一个mock接口模拟调用接口返回的数据，方便前端开发。文件保存，使用try catch保存文件到本地，调用之前的。使用字符串拼接为Prompt中要求的格式，调用AI函数。这与调用真实接口得到的结果一致，方便前端的后续开发。由于该接口会ai反复调用，反应慢且消耗Token。

Prompt，指的是给定给AI系统的一段文本信息或指令，其目的是引导或激发AI模型产生特定的输出或执行相应的操作。市面上有许多第三方网站提供AI服务，这些网站的一大优势是精简了调用AI的流程，可以自由设置智能体提前设定问答的角色，有的网站甚至提供了SDK可以直接调用AI。在实际测试中，我们小组发现，大多数AI服务方提供的免费方案使用的都是较为落后的模型，如GLM3甚至GLM2，经过测试，这些落后模型无法满足要求。按照Prompt要求的格式传入数据，调用AI方法，向通义千问传递发送请求，得到数据。