- 博客(360)
- 资源 (5)
- 收藏
- 关注
RSS订阅原创 LLM-生成器判别器的实现
要在使用已经预训练好的模型（例如GPT）时获取 pLLM\text{p}_{\text{LLM}}pLLM，可以通过对给定上下文下每个可能的下一个词进行打分来实现。具体来说，pLLM\text{p}_{\text{LLM}}pLLM 是语言模型对每个词（token）在当前上下文中的生成概率。
2024-10-14 19:36:06
342
原创 算法可以赋能教育业务的哪些场景？
通过大模型，将授课视频转化为问题图片等，并用LLM去评估，对授课质量进行打分当然还有很多待做和待发掘的内容和功能需求，后续继续补充。
2024-07-10 11:09:16
339
1
原创 LLM大语言模型(GPT)的分布式预训练与微调及部署
设计并实现了一个大规模语言模型（GPT）的分布式预训练，结合RAG(文档、MySQL)、Agent、LLM连网等技术在基座上微调，以提高模型在特定领域任务上的性能和效率。PyTorch, CUDA, NCCL, DistributedDataParallel (DDP), torch分布式训练。成功预训练了一个具有1.24亿（124M）参数的GPT模型。
2024-06-12 18:10:36
379
原创 从0-1实现大模型
github: LLMs-from-scratch/ch02/01_main-chapter-codeWe train LLMs to generate one word at a time, so we want to prepare the training data accordingly where the next word in a sequence represents the target to predict: and ----> established and establi
2024-06-04 10:54:50
314
原创 微调LLAMA3
meta AI 官网：https://ai.meta.com/Getting started with Meta Llama document：https://llama.meta.com/docs/get-started/
2024-04-26 10:30:06
110
原创 DeepSpeed 和 VLLM 模型加速技术详解
vLLM使用了PageAttention技术，对模型推理进行加速。在注意力机制中，每个token有KEY, VALUE两个张量，这两个张量在存储分配显存的时候，预留出大量的空间，导致碎片化的浪费，VLLM通过借鉴操作系统的分页思想，隔离物理和逻辑内存，中间记录处理内存地址，从而降低内存的占用，提高了batch_zize, 吞吐量。
2024-04-25 18:49:45
555
原创 LORA详解
我们假设模型自适应过程中权重的变化也具有较低的“内在秩”，这帮助我们提出的低秩自适应（LoRA）方法。LoRA允许我们在适配过程中，通过优化密集层变化的秩分解矩阵的方式来间接的训练神经网络的密集层，同时保持预训练权重不变。这样，在每个任务中，除预训练模型外，我们只需要额外存储和加载少量特定任务所需的参数即可，从而极大地提高了部署时的操作效率。它冻结了预训练模型的权重值，并给Transformer架构的每一层都注入了可训练的秩分解矩阵，从而极大的减少了下游任务需要训练的参数数量。
2024-04-25 17:37:15
433
原创 医疗大模型产品设计
3. **患者健康管理**：为患者提供个性化的健康管理方案，包括营养指导、运动建议、用药提醒等，帮助他们管理慢性病和改善生活方式。4. **医疗知识库**：建立一个丰富的医疗知识库，包括疾病信息、治疗方案、药物介绍等，以供医生和患者查询和参考。5. **患者风险评估**：根据患者的个人健康数据和家族病史，评估其患某种疾病的风险，并提供相应的预防措施和建议。10. **医疗资源优化**：通过数据分析和智能调度算法，优化医疗资源的分配和利用，提高医疗服务的效率和质量。
2024-04-15 18:10:57
568
原创 大模型微调技术概览解读(chatGLM-6B)
从参数规模的角度，大模型的微调分成两条技术路线：一条是对全量的参数，进行全量的训练，这条路径叫一条是只对部分的参数进行训练，这条路径叫FFT的原理，就是用特定的数据，对大模型进行训练，将W变成W`，W`相比W ，最大的优点就是上述特定数据领域的表现会好很多。但FFT也会带来一些问题，影响比较大的问题，主要有以下两个：一个是训练的成本会比较高，因为微调的参数量跟预训练的是一样的多的；
2024-04-15 11:52:38
715
原创 ES-LTR粗排模块
Elasticsearch学习排名插件使用机器学习提高搜索相关性排名。它为维基媒体基金会和Snagajob等地方的搜索提供了动力！
2024-03-28 17:14:21
520
原创 算法模型离线评估方案
特征评估有很多种方式，主要包括两大类，特征和特征直接的相关性分析，特征和标签之间的相关性分析，特征和标签的分析方法包括：单特征AUC评估、Pearson系数、GBDT训练得到特征重要性等方法。压测我们采用ApacheBench，简称ab,压测命令如下，从压测结果看，我们的接口可以支持5000日活的没有压力，但是想更多，就需要更多的机器进行负载。这部分可能会有很多次实验。在全量上线之前，应该先小流量进行对比，先上50%流量进行统计计算，连续观察4天（上线当天不算），如果点击率高，实验正向，就可以上线全量。
2024-03-28 11:08:31
1244
原创 20221124 kafka实时数据写入Redis
一、Redis存储KEY：kafka:user_short_video_streaming:_5c91e0cf0cf2f3d119f92774。自定义RedisTemplete进行重写, 用jackson进行序列化，将这个类注册到Spring Boot中。用户在线上刷一个视频，redis就会将用户的视频信息保存在用户历史浏览的队列中。
2024-03-28 10:57:58
637
原创 ES-LTR粗排模块
Elasticsearch学习排名插件使用机器学习提高搜索相关性排名。它为维基媒体基金会和Snagajob等地方的搜索提供了动力！
2024-03-28 10:50:03
667
原创 根据疾病名生成病例prompt
下面是病历内容的要求：病例应严格包含如下几项: 性别，年龄，疾病名（必须是" + disease_name + "），主诉（不超过20字），现病史（包括症状起因、治疗经过等），既往史（包括慢性疾病史、传染病史等），个人史（包括生活习惯、工作环境等），家族史，体格检查（包括体温、脉搏、呼吸、血压等），辅助检查（疾病相关的检测项目，但是检查项目必须和疾病相关），初步诊断（需要明确结果，内容需要包含疾病名）等11项， 要求如下：不要出现假设，字数要大于50字。建议戒烟限酒，加强营养，药物治疗，并进行康复训练。
2024-03-26 09:48:16
918
原创 搜索推荐大厂实践文章
大厂实践文章公司 内容 标签 状态 美团 美团交易视频推荐探索与实践 推荐 2023-12-23 美团 内容搜索算法优化的探索与实践 搜索 2023-12-23 百度 百度视频推荐跨域多目标预估与融合的实践和思考 推荐 2023-11-29 网易 网易云音乐推荐系统的冷启动技术 冷启动 2023-11-10 华为 多任务和多场景在华为推荐系统中的应用 推荐 2023-11-09
2024-02-22 11:30:36
1927
Spring 代理 Aop 实现原理讲解.docx
2019-12-01
08课 Spring5讲义（2018.8.5）.docx
2019-11-24
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人