IIIIIThree-CSDN博客

原创 2024山东大学软件学院创新实训——智慧医疗问答系统（七）

主要负责前台管理系统中的用户登录、注册以及ChatGLM2-6B模型对话三部分后端接口的设计。

2024-05-30 15:16:08 312 2

原创 2024山东大学软件学院创新实训——智慧医疗问答系统（六）

单纯的Runapi和Postman相比优势并不大，而与showdoc配合使用效率比较显著，用runapi测试接口的同时它将自动生成API文档到showdoc，也可共用showdoc的团队管理机制实现多人协作。首先在数据库工具类dbutils.py中实现数据库连接、基本增删改查操作、执行SQL查询并返回结果，其主要作用是为了简化与数据库交互的过程。主要负责后台管理系统中的用户基本信息管理和用户反馈信息管理两部分内容，完成了基本的增删改查和数据统计功能。3. 根据id查询用户信息。1. ChatGLM对话。

2024-05-21 22:53:19 953

原创 2024山东大学软件学院创新实训——智慧医疗问答系统（五）

TensorBoard是一个可视化工具，它可以用来展示网络图、张量的指标变化、张量的分布情况等。特别是在训练网络的时候，我们可以设置不同的参数（比如：权重W、偏置B、卷积层数、全连接层数等），使用TensorBoader可以很直观的帮我们进行参数的选择。它通过运行一个本地服务器，来监听6006端口。在浏览器发出请求时，分析训练时记录的数据，绘制训练过程中的图像。前情提要：TensorBoard可视化。

2024-05-08 01:05:54 290

原创 2024山东大学软件学院创新实训——智慧医疗问答系统（四）

与 P-tuning v1 微调方法相比，P-tuning v2 微调方法采用了 prefix-tuning 的做法，在输入前面的每一层都加入可微调的参数。神经网络的每一层都包含矩阵的乘法。，对于每一个下游任务，需要单独训练一个完全独立的模型，并且每个任务都有自己独立的一套模型参数，每个任务都需要从头开始进行预训练和微调，导致训练过程非常消耗时间和计算资源。因为大模型已经学习到了丰富的语言表示能力，因此只微调后几层的全连接层参数，就可以保留预训练模型的大部分知识，同时通过微调来适应具体任务的特定要求。

2024-04-26 15:36:44 1783 1

原创 2024山东大学软件学院创新实训——智慧医疗问答系统（三）

model_name_or_path：预训练模型的名称或路径，改为模型文件下载到的目录路径，我这里是../THUDM/chatglm2-6b。从以上例子可以看出，微调后的模型回答更加简洁，前后文联系也更有逻辑性，同时在医疗领域的问答更加合理，有明显的准确率提升。在本模型中，使用官方的学习率（2e-2 ）可能会使得训练之后的模型回答问题时发生严重的错误回答，称为灾难性遗忘。灾难性遗忘是指在微调过程中，模型学习新的任务时忘记了原有任务的知识，在原始任务上的表现灾难性地下降。

2024-04-21 14:50:07 2141

原创 2024山东大学软件学院创新实训——智慧医疗问答系统（二）

对于深度学习的大模型项目，租用云服务器后，可以选择在 JupyterLab 或 PyCharm 上进行模型训练。4. 选择python解释器：/root/miniconda3/bin/python3，同时勾选“Automatically upload project files to the server"，以同步本地文件夹和远程服务器的文件夹。在 XFTP 的本地文件窗口中，找到并选择您想要上传的文件或文件夹。它支持 FTP、SFTP、和 FTPS 协议，使得文件的上传和下载过程更加直观和方便。

2024-04-13 15:41:28 1761

原创 2024山东大学软件学院创新实训——智慧医疗问答系统（一）

以后每次运行该项目时，只需要先激活我们前面所创建的Conda虚拟Python环境，然后运行启动文件即可。为了更好的完成本次创新实训中大模型微调的任务，我们选择租用RTX 4090D(24GB)完成训练。启动文件包括三个：cli_demo.py、web_demo.py与web_demo2.py。6. 安装CLI所用到的charset_normalizer依赖库。5. 更新charset_normalizer依赖库。3. 激活已创建的conda环境。2. 创建conda虚拟环境。4. 安装该项目的相关依赖库。

2024-04-13 14:05:50 551 1

m0_68301707的博客