![](https://img-blog.csdnimg.cn/20201014180756925.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
大模型
逛逛1973
一位知识构架全面,学术,工程能力强的算法工程师
展开
-
算法可以赋能教育业务的哪些场景?
通过大模型,将授课视频转化为问题图片等,并用LLM去评估,对授课质量进行打分当然还有很多待做和待发掘的内容和功能需求,后续继续补充。原创 2024-07-10 11:09:16 · 290 阅读 · 0 评论 -
医学问药-结合MYSQL的RAG
【代码】医学问药-结合MYSQL的RAG。原创 2024-06-27 17:43:29 · 70 阅读 · 0 评论 -
从0-1实现大模型
github: LLMs-from-scratch/ch02/01_main-chapter-codeWe train LLMs to generate one word at a time, so we want to prepare the training data accordingly where the next word in a sequence represents the target to predict: and ----> established and establi原创 2024-06-04 10:54:50 · 268 阅读 · 0 评论 -
预训练大模型
参考代码:原创 2024-05-28 10:57:47 · 234 阅读 · 0 评论 -
利用sentence bert 实现语义向量搜索
【代码】利用sentence bert 实现语义向量搜索。原创 2024-05-24 18:13:46 · 163 阅读 · 0 评论 -
传染病数据处理
【代码】传染病数据处理。原创 2024-05-17 16:44:56 · 81 阅读 · 0 评论 -
体检指标生成健康建议
【代码】体检指标生成健康建议。原创 2024-05-24 16:33:46 · 111 阅读 · 0 评论 -
vLLM部署qwen大模型加速推理实现
step1: 编写 vllm_wrapper.py。step2: 应用场景:给体检指标生成健康建议。原创 2024-05-23 17:46:27 · 499 阅读 · 0 评论 -
大模型联网Agent实现
【代码】大模型联网Agent实现。原创 2024-05-16 16:55:50 · 286 阅读 · 0 评论 -
Embedding 模型的选择和微调
评估机器生成摘要的质量。原创 2024-05-20 09:10:09 · 1323 阅读 · 0 评论 -
心理咨询多轮对话数据集构造
通过大模型构造数据的技巧原创 2024-04-29 11:30:38 · 573 阅读 · 0 评论 -
五大网络CNN/RNN/GAN/LSTM/Transformer
五大网络CNN/RNN/GAN/LSTM/Transformer原理和实现。原创 2024-04-26 13:36:45 · 124 阅读 · 0 评论 -
迁移学习原理及实现
迁移学习。原创 2024-04-26 13:29:28 · 89 阅读 · 0 评论 -
T5模型实现
T5模型实现。原创 2024-04-26 11:33:48 · 113 阅读 · 0 评论 -
微调LLAMA3
meta AI 官网:https://ai.meta.com/Getting started with Meta Llama document:https://llama.meta.com/docs/get-started/原创 2024-04-26 10:30:06 · 78 阅读 · 0 评论 -
DeepSpeed 和 VLLM 模型加速技术详解
vLLM使用了PageAttention技术,对模型推理进行加速。在注意力机制中,每个token有KEY, VALUE两个张量,这两个张量在存储分配显存的时候,预留出大量的空间,导致碎片化的浪费,VLLM通过借鉴操作系统的分页思想,隔离物理和逻辑内存,中间记录处理内存地址,从而降低内存的占用,提高了batch_zize, 吞吐量。原创 2024-04-25 18:49:45 · 240 阅读 · 0 评论 -
大模型+多模态实现
大模型多模态原创 2024-04-25 17:45:50 · 357 阅读 · 0 评论 -
LORA详解
我们假设模型自适应过程中权重的变化也具有较低的“内在秩”,这帮助我们提出的低秩自适应(LoRA)方法。LoRA允许我们在适配过程中,通过优化密集层变化的秩分解矩阵的方式来间接的训练神经网络的密集层,同时保持预训练权重不变。这样,在每个任务中,除预训练模型外,我们只需要额外存储和加载少量特定任务所需的参数即可,从而极大地提高了部署时的操作效率。它冻结了预训练模型的权重值,并给Transformer架构的每一层都注入了可训练的秩分解矩阵,从而极大的减少了下游任务需要训练的参数数量。原创 2024-04-25 17:37:15 · 361 阅读 · 0 评论 -
老师学生蒸馏模型实战
【代码】老师学生蒸馏模型实战。原创 2024-04-18 18:05:22 · 182 阅读 · 0 评论 -
医疗大模型产品设计
3. **患者健康管理**:为患者提供个性化的健康管理方案,包括营养指导、运动建议、用药提醒等,帮助他们管理慢性病和改善生活方式。4. **医疗知识库**:建立一个丰富的医疗知识库,包括疾病信息、治疗方案、药物介绍等,以供医生和患者查询和参考。5. **患者风险评估**:根据患者的个人健康数据和家族病史,评估其患某种疾病的风险,并提供相应的预防措施和建议。10. **医疗资源优化**:通过数据分析和智能调度算法,优化医疗资源的分配和利用,提高医疗服务的效率和质量。原创 2024-04-15 18:10:57 · 524 阅读 · 0 评论 -
国内开源大模型汇总
OpenMEDLab :原创 2024-04-15 17:04:57 · 320 阅读 · 0 评论 -
大模型微调技术概览解读(chatGLM-6B)
从参数规模的角度,大模型的微调分成两条技术路线:一条是对全量的参数,进行全量的训练,这条路径叫一条是只对部分的参数进行训练,这条路径叫FFT的原理,就是用特定的数据,对大模型进行训练,将W变成W`,W`相比W ,最大的优点就是上述特定数据领域的表现会好很多。但FFT也会带来一些问题,影响比较大的问题,主要有以下两个:一个是训练的成本会比较高,因为微调的参数量跟预训练的是一样的多的;原创 2024-04-15 11:52:38 · 666 阅读 · 0 评论 -
langchain实现文档向量检索
【代码】langchain实现文档向量检索。原创 2024-04-15 10:12:39 · 248 阅读 · 0 评论