LLM
文章平均质量分 92
LLM 大模型相关
BIT_666
天道酬勤,厚积薄发
展开
-
LLM - 长文本总结处理方案
LLM 长文总结常用方法。原创 2024-04-25 15:02:32 · 1031 阅读 · 0 评论 -
LLM - Get Sample Token Hist For Train / Test 获取批次样本 token 长度分布
获取批次样本 token 长度分布。原创 2024-04-23 11:43:45 · 703 阅读 · 0 评论 -
LLM - 通过 PagedAttention 轻松、快速、廉价的提供 LLM 服务 - vLLM
vLLM - 通过 PagedAttention 轻松、快速、廉价的提供 LLM 服务。原创 2024-04-19 10:30:00 · 799 阅读 · 0 评论 -
LLM - GPU 定期监控程序与 Metric 可视化
LLM 训练、推理阶段 GPU 指标监控与可视化。原创 2024-04-18 10:30:00 · 628 阅读 · 0 评论 -
LLM - BGE M3-Embedding 一种高效可靠的向量模型
M3-Embedding 论文细节阅读与分析。原创 2024-04-15 10:30:00 · 1464 阅读 · 0 评论 -
LLM - Ruozhiba <Quality> is All You Need
高质量中文 Fine-Tuning 数据探索。原创 2024-04-09 20:24:14 · 770 阅读 · 0 评论 -
LLM - Whitening Sentence Representations for Better Semantics and Faster Retrieval 用于更好语义更快检索的句子白化操作
特征白化在向量检索和降维的探索。原创 2024-04-09 09:00:00 · 954 阅读 · 0 评论 -
LLM - Weight-Decomposed Low-Rank Adaptation 之 DoRA
Weight-Decomposed Low-Rank Adaptation 之 DoRA 论文详解。原创 2024-04-01 10:30:00 · 666 阅读 · 0 评论 -
LLM - 具有 IO 感知的快速内存高效精确计算 FlashAttention
具有 IO 感知的快速内存高效精确计算 FlashAttention 简介。原创 2024-03-12 10:11:24 · 778 阅读 · 0 评论 -
LLM - 基于 Hupu 数据利用 LLM 构建一个评分模型
利用 Hupu 评分数据构建 LLM 评分模型。原创 2024-03-08 09:58:15 · 908 阅读 · 0 评论 -
LLM - 使用 Langchain 实现本地 Naive RAG
LLM 基于 Python Langchain 构建本地知识库。原创 2024-03-07 14:17:38 · 1156 阅读 · 0 评论 -
LLM - RAG 大型语言模型的检索增强生成研究综述
LLM RAG 检索增强调研。原创 2024-03-05 14:13:47 · 1340 阅读 · 0 评论 -
LLM - Transformer && Multi-Head Attention 维度变化与源码详解
Transformer && Multi-Head Attention 维度变化与源码详解。原创 2024-02-21 08:00:00 · 945 阅读 · 4 评论 -
LLM - Qwen-72B LoRA 训练与推理实战
LLM Qwen-72B 简介与 LoRA 微调、推理。原创 2024-02-05 10:21:32 · 2952 阅读 · 12 评论 -
LLM - 大模型速递之 Yi-34B 入门与 LoRA 微调
零一万物 Yi-34B-Chat 模型简介与 LoRA 实战。原创 2023-12-18 08:00:00 · 2420 阅读 · 0 评论 -
LLM - 训练与推理过程中的 GPU 算力评估
LLM 训练、推理流程中 GPU 算力的计算。原创 2023-10-31 23:03:27 · 4362 阅读 · 2 评论 -
LLM - 旋转位置编码 RoPE 代码详解
旋转位置编码 RoPE 代码详解与复现。原创 2023-10-12 08:00:00 · 1539 阅读 · 2 评论 -
LLM - FastAPI 搭建简易问答 Server
使用 FastAPI 部署简易 LLM 问答 Server。原创 2023-10-08 08:00:00 · 1139 阅读 · 0 评论 -
LLM - 通俗理解位置编码与 RoPE
RoPE 旋转位置编码通俗解释。原创 2023-09-26 17:41:17 · 1144 阅读 · 2 评论 -
LLM - Make Causal Mask 构造因果关系掩码
LLM MakeCausalMask 构造因果关系掩码函数解析。原创 2023-09-25 14:27:54 · 1526 阅读 · 4 评论 -
LLM - 大模型速递 InternLM-20B 快速入门
InternLM-20B 大模型初体验。原创 2023-09-22 11:48:31 · 688 阅读 · 0 评论 -
LLM - 大模型技术报告与训练细节 By Baichuan2
Baichuan2 模型技术报告整理与心得体会。原创 2023-09-21 08:00:00 · 1936 阅读 · 0 评论 -
LLM - SFT workflow 微调工作流程
LLM SFT 有监督微调 workflow 工作流详解。原创 2023-09-14 08:00:00 · 571 阅读 · 0 评论 -
LLM - 数据处理之 Process Dataset For LLM With PT、SFT、RM
基于 PT、SFT、RM 的 Dataset 预处理。原创 2023-09-13 08:00:00 · 998 阅读 · 0 评论 -
LLM - 批量加载 dataset 并合并
LLM dataset 批量加载 dataset 并合并。原创 2023-09-12 11:39:36 · 737 阅读 · 0 评论 -
LLM - Model、Data、Training、Generate Agruments 超参解析
使用 transformers.HfArgumentParser 对大模型脚本进行超参解析。原创 2023-09-08 11:51:41 · 767 阅读 · 3 评论 -
LLM - 大模型速递 Baichuan2 快速入门
百川最新模型 Baichuan2 体验与测试。原创 2023-09-07 11:09:00 · 2395 阅读 · 10 评论 -
LLM - LLaMA-2 获取文本向量并计算 Cos 相似度
基于 Cos 和 BERT-whitening 特征白化的大模型输出文本 Embeding 相似度评估。原创 2023-09-01 11:05:42 · 4411 阅读 · 10 评论 -
LLM - Baichuan-13B 多卡加载与推理测试
大模型量化加载与多卡推理配置与实践。原创 2023-08-29 08:00:00 · 5271 阅读 · 14 评论 -
LLM - Model Load_in_8bit For LLaMA
LLaMA 8bit 量化加载尝试。原创 2023-08-28 08:00:00 · 2721 阅读 · 4 评论 -
LLM - 大模型评估指标之 ROUGE
LLM 评价指标之 ROUGE SCORE。原创 2023-08-18 08:00:00 · 1693 阅读 · 0 评论 -
LLM - 大模型评估指标之 BLEU
LLM 指标评估之 BLEU 双语评估替身。原创 2023-08-17 15:56:58 · 833 阅读 · 0 评论 -
LLM - argparse 解析脚本参数
python 使用 argparse 类解析参数。原创 2023-08-11 11:09:20 · 242 阅读 · 0 评论 -
LLM - CUDA out of memory. 到底怎么事
torch.cuda.OutOfMemoryError: CUDA out of memory. 报错日志分析与解决。原创 2023-08-10 08:00:00 · 1299 阅读 · 2 评论 -
LLM - Transformer && LLaMA2 结构分析与 LoRA 详解
Transformer、LLaMA-2 以及 LoRA的一些基础知识。原创 2023-08-08 10:21:42 · 10319 阅读 · 20 评论 -
LLM - LoRA 模型合并与保存
LoRA 模型 merge_and_unload 合并与保存。原创 2023-08-03 08:00:00 · 10982 阅读 · 15 评论 -
LLM - LLama 模型读取报错 TypeError: not a string
读取 LLama2 模型时报错TypeError: not a string。原创 2023-08-01 17:28:56 · 2229 阅读 · 0 评论 -
LLM - model batch generate 生成文本
LLM model generate batch 批量生成与参数详解。原创 2023-07-31 08:00:00 · 3263 阅读 · 5 评论 -
LLM / Python - json 使用详解
Json 常用方法示例。原创 2023-07-27 10:36:49 · 607 阅读 · 0 评论 -
LLM - Chinese-Llama-2-7b 初体验
Chinese-Llama-2-7b 初体验。原创 2023-07-25 19:49:56 · 5851 阅读 · 0 评论