自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(13)
  • 收藏
  • 关注

原创 教育领域“知之”大模型--山东大学软件学院2024年项目实训(十三)

项目复盘、技术要点与工作感想。

2024-06-24 13:27:21 850

原创 教育领域“知之”大模型--山东大学软件学院2024年项目实训(十二)

我们可以借助vllm来实现模型推理的加速。# (6)模型的推理与加速

2024-06-24 12:34:11 83

原创 教育领域“知之”大模型--山东大学软件学院2024年项目实训(十一)

我们原本的模型是推理出结果后一起返回给前端的。这样用户的等待时间过长,交互体验极差。因此我们做了大模型的流输出(stream)。# (5)流输出

2024-06-24 12:24:05 111

原创 教育领域“知之”大模型--山东大学软件学院2024年项目实训(十)

我们对微调后的模型进行awq(激活感知权重量化)量化。# (4)模型量化

2024-06-24 12:13:47 89

原创 教育领域“知之”大模型--山东大学软件学院2024年项目实训(九)

我们接下来对大模型在数学类数据集(blossom-math-zh)上进行微调。# (3)模型微调

2024-06-24 12:10:45 317

原创 教育领域“知之”大模型--山东大学软件学院2024年项目实训(八)

1.实现项目:公式图片转latex代码。2.实现train、train_resizer、eval与cli。(2)Latex_OCR项目:train,train_resize,eval,cli

2024-06-24 11:01:45 400

原创 教育领域“知之”大模型--山东大学软件学院2024年项目实训(七)

1.实现项目:公式图片转latex代码。2.实现encoder与decoder代码。(1)Latex_OCR项目:Encoder,Decoder,get_encoder,get_decoder。

2024-05-31 10:05:38 270

原创 教育领域“知之”大模型--山东大学软件学院2024年项目实训(六)

1.将服务器上已经微调好的模型下载到本地。2.在本地运行推理。3.测试微调后模型的性能。# (2)模型的本地化

2024-05-31 00:29:33 828

原创 教育领域“知之”大模型--山东大学软件学院2024年项目实训(五)

1.设计了前端chat box。2.与LLM进行了连接。3.面向中小学数学的大模型可复用/改进该方案。# 大模型前后端连接尝试

2024-05-30 22:29:27 414

原创 教育领域“知之”大模型--山东大学软件学院2024年项目实训(四)

1.初识Swift工具。2.选择适配的模型与数据集(deepseek-math-7b-instruct与Blossom Math)。3.运行微调程序得到微调后的模型。# (3)大模型微调

2024-05-30 17:08:51 991

原创 教育领域“知之”大模型--山东大学软件学院2024年项目实训(一)

1.确定项目的基本目标与路线。2.确定小组分工。3.读了3篇综述。4.实现了一个LLM的练手项目

2024-05-30 10:01:17 466

原创 教育领域“知之”大模型--山东大学软件学院2024年项目实训(三)

1.确认评价策略。2.实验:选择效果最好的大模型。3.选择:DeepSeek。# (1)选择基础模型:Llama2,Llama3, deepseek。

2024-05-29 23:01:19 745

原创 教育领域“知之”大模型--山东大学软件学院2024年项目实训(二)

1.试用modelscope社区。2.调研数学题乃至教育领域数据集。3.解决遇到的问题。

2024-04-29 17:24:47 114 1

空空如也

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除