- 博客(21)
- 收藏
- 关注
RSS订阅原创 项目实训关键知识点
微调的基本思路是,首先使用大规模通用数据训练一个基础的大模型,然后在这个基础上,利用相对较小的目标任务数据对模型进行进一步的微调和优化。RAG模型的核心思想是,与仅依靠自身有限的知识库进行生成不同,RAG模型可以动态检索外部知识,并将这些相关信息融入到生成过程中。检索增强生成(Retrieval-Augmented Generation)和微调(Fine-Tuning)是两种在大模型应用中都很重要的技术,在解决问题的方式和适用场景上都有一些不同。它为大语言模型的应用开发提供了一个非常有价值的框架和工具集。
2024-06-21 22:47:42
395
原创 项目实训6-2 知识库界面实现
首先分析知识库需要实现的功能：方便起见，我选择了elmentplus的el-select实现了一个下拉框，用户可以在其中选择新建知识库或者是已有的知识库：如下所示：我使用hasKnowledge动态判断当前知识库状态，如果当前选择新建知识库，则显示创建知识库的界面：如果用户选择了已有的知识库，则显示当前知识库的文件，并可以上传文件：新建知识库需要知识库的名称和描述，然后用户点击创建即可调用接口。这里没有太大的问题。用户上传文件时需要注意，上传的文件应为二进制格式，也就是header中需要添加上传文件之前需
2024-06-03 19:20:50
393
原创 项目实训5-30 前端会话与历史会话实现
用户历史对话我参考了kimi的设计，将每个对话作为一行el-card，template中循环当前用户从后端查询到的chatHistory，展示每个对话的标题、时间，同时点击详情可以跳转到聊天界面，可以继续进行当前上下文的对话。已有的大模型对于用户对话的命名方式有两种，如gpt、智谱清言等会根据用户对话自动分析上下文形成标题，也有文心一言直接选取用户对话的第一句生成标题，当然是给了用户更改标题的权限，这样的好处是方便记忆。主要注意的是跳转到聊天界面时，需要和用户创建新对话的判断进行区分。
2024-05-31 12:34:31
723
原创 项目实训5-28 后端部署+依赖报错问题解决
然后继续 根据报错信息查看zhouyi虚拟环境中的jwt.exceptions文件，发现其中确实没有InvalidTokenError方法。6.因为采用的为sqlite数据库，在navicat中新建sqlite连接。然后尝试重新clone项目和重新生成虚拟环境，均无法解决上述问题。5.运行.\db\create_db.py文件，生成数据库文件。查看依赖文件并询问队友，发现我们的jwt的版本都为1.3.1.copy了队友的jwt的两个依赖文件，重新运行即可。4.cd到主目录，并安装项目依赖。
2024-05-31 00:28:25
140
原创 项目实训5-27 前端框架搭建
对话与交互部分参考智谱清言、kimi、文心一言等国内主流大模型。知识库ui参考longchainchatchat界面。1.首先查看本机 Node.js 和 npm (Node.js 包管理器)。但是每次运行都会报错，是文件所有权的问题。根据提示在对应文件夹的命令行输入。来检查是否已经安装。
2024-05-31 00:01:19
291
1
原创 项目实训5-23 RAG重新配置
因为要上传的文件很多且格式各不相同，方便起见，这里选择使用api传输，代码已经写好了，只需要改动配置文件就好了。首先是查看MVIDIA控制面板，然后点击系统信息，然后组件中查看cuda驱动版本：cuda为12.2版本。因为requirements中的torch是cpu版本的，所以这里要手动下载GPU的pytorch。目的是处理非结构化文本，对《周易研究》期刊的各个文章进行分词，向量化，建立索引，并存入知识库。回顾之前的配置，clash的代理端口是7890。修改gitconfig配置：c盘用户的主目录里。
2024-05-25 15:47:15
1033
原创 vscode 配置GitHub Copilot报错:GitHub Copilot could not connect to server. Extension activation failed:
vscode 配置GitHub Copilot报错:GitHub Copilot could not connect to server. Extension activation failed: “Cannot read properties of undefined (reading ‘onDidPerformUserAction’)”然后升级vscode，退出并重新登录vscode 中的github账户即可。
2024-04-30 14:31:17
100
原创 项目实训4-25:git clone huggingface解决超时443问题
其中10808是代理软件的端口，10809是控制面板->Internet选项->连接->局域网设置中的端口号。查找资料，打开本地的C:\Users\用户名\ .gitconfig文件。根据提示要下载git lfs，配置安装成功后。注册了huggingface的账号。然后进行git clone。报错显示443超时。
2024-04-25 22:14:19
195
原创 动手学深度学习 minicoda配置
双击安装exe，按照提示执行操作，点next最后install即可。，搜索anaconda后，点击miniconda。激活d2l环境（需要关闭并重新打开shell。查看自己的python版本：为3.12。
2024-04-22 21:45:39
186
原创 项目实训4-20 修复bug+QA对去重
用python搜索errorcode的结果为空，我于是就用json文件的长度/4/5=287，定位到当前至少已经处理了287篇文章，于是接下来处理后面的文章了（但是现在总结报告的时候，我意识到可以重新生成一遍workstation，遍历workstation和log文件，匹配文章名，就可以判断最后一篇生成的文章是什么了）接下来还遇到了token耗尽的问题。于是就放心的继续运行。但是每次询问其实都会输出当前的json文件、glm4的回答等非常多的print，而这次要跑的是7年的数据，一共有545篇文章。
2024-04-20 16:04:39
338
原创 项目实训4-18：过滤QA对，update prompt
找一个（些）指标过滤不合理的QA对，建立合法QA对模板，随机取样作为prompt，请求大模型接口，重跑2020-2023以及2001-2007的word文档。
2024-04-20 15:47:35
566
原创 git无法clone
github从code直接用ctrl+v粘地址的时候，会多出现一个符号如上👆，删掉就好了。但是可以浏览器访问，也可以ping通。成功clone到本地了。
2024-04-16 15:36:13
241
原创 3.5提高A组
0：4763，旷野大计算dalao题解捋捋思路按块处理，因为删数麻烦，所以尽量不删，因而用只增莫队处理一个块时，l为块末与询问r的最小值，然后从后向前进入先将r移到下一个块的第一；保证能取到答案，la和bj：p2记录了在更新当前答案时，下一个块的答案，从l到（块末或询问区间末）清楚标记，使得当前取值不影响到下一个块的更新//3y5h旷野大计算3y5h //莫队 （只增莫队 Al...
2019-03-07 21:57:12
195
原创 3.7号提高A组
0：4832高维宇宙正解：二分图匹配考场上想都没想打了贪心本以为会爆0，神奇的A了，惊了（二分图只练了模板，这么明显的题目竟然没想到//3y7h贪心写炸了 //惊了乱搞居然A了可能数据太水了吧//正解二分图 #include<bits/stdc++.h>using namespace std;const int INF=1e9+9;int n,b[2019],nu...
2019-03-07 21:34:07
180
原创 1320. 拯救奶牛
2019.3.2jzoj1320. 拯救奶牛贝希被困在一个三角形的迷宫之中。这个迷宫有N行（1 <= N <= 1000000）。比如下图是一个3行的迷宫。 迷宫的第i行有2*i-1个三角形，从左到右分别编号为（i，1）、（i，2）等等。贝希每次可以从一个三角形走到任意一个一个跟当前的三角形有邻边的三角形。比如说，如果她目前处于三角形（3，3），那么，她可以走到三角形（3...
2019-03-02 18:41:53
232
原创 APIO2010巡逻
（转载请标明作者）题目：戳这里//巡逻（APIO2010） /*思路： 遍历所有的道路，巡警车需要走的距 离为 14 个单位，每条道路都需要经过两次。即不加边，巡逻距离为2*（n-1） 那就找树的直径，连两端： 如图a连接2-8，使最长路只走一次 k=1：ans:2*(n-1)-l1+1; k=2：第二条新路形成的环有2种可能 找到当前树的直径，两端加边 1：与第...
2018-10-31 15:35:25
208
原创 最大子序列和（2种）
（转载请标明作者）1276: 最大子序列和时间限制: 1 Sec 内存限制: 64 MB题目描述输入一个长度为n的整数序列(A1，A2，…，An)，从中找出一段连续的长度不超过M的子序列，使得这个子序列的和最大。例如：序列1，-3，5，l，-2，3，当M = 2或3时，S = 5 + 1 = 6；当M = 4时，S = 5 + 1 +（-2）+ 3 = 7。 输入...
2018-10-27 10:58:38
286
原创 约数和
洛谷P2424求从x—y所有数的约数和的和公式 :ans+=(n/l)(l+r)(r-l+1)/2ans=f(y)-f(x-1)//约数和#include&lt;iostream&gt;#include&lt;cstdio&gt;#define ll long longusing namespace std;ll x,y;//谢谢洛谷大佬的题解orzll su(ll n){ ...
2018-10-15 15:51:37
142
原创 单调队列（滑动窗口）：纪念我因head tail的WA
初值似乎没什么用然后我就WA了。。。如果初值为h1=1,t1=0,h2=1,h1=0;判断head tail是加等号如果h1==t1 可以不加代码如下：//1359：滑动窗口(pusu)//next单调队列 #include&amp;lt;iostream&amp;gt; #include&amp;lt;cstring&amp;gt; #include&amp;lt;algorithm&a
2018-10-08 21:13:55
190
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人