LLM
文章平均质量分 79
LLM训练、评估、部署等常见问题汇总记录
weixin_42924890
这个作者很懒,什么都没留下…
展开
-
streamlit 搭建LLM交互应用
本文主要讨论使用搭建一个可调节核心参数的LLM对话式应用。页面交互采用streamlit,模型推理部分采langchain和vllm两种部署推理框架。原创 2024-08-16 09:53:35 · 1070 阅读 · 0 评论 -
过拟合中的L1和L2正则化技术
过拟合中的L1和L2正则化技术的讨论和代码验证测试。原创 2024-09-06 10:55:33 · 1040 阅读 · 0 评论 -
层规范化和批规范的两种比较
规范化(Normalization)在深度学习中是一个非常重要的概念,它在多个方面都有重要作用。下面我将详细分析规范化中的层规范化和批规范化。原创 2024-09-20 16:48:08 · 738 阅读 · 0 评论 -
streamlit 使用
Streamlit 是一个用于快速构建数据科学和机器学习应用的 Python 库。它非常易于上手,只需要几行代码就可以创建出美观且交互式的 Web 应用。本仓还是为了学习使用streamlit,为后续搭建交互式LLM大模型做准备。本项目代码和运行部署,参考。原创 2024-08-10 11:53:44 · 280 阅读 · 0 评论 -
激活函数理解
sigmoid等常见激活函数numpy实现。原创 2024-03-14 21:29:42 · 921 阅读 · 1 评论 -
梯度消失和梯度爆炸的一些处理方法
常见梯度消失和梯度爆炸的处理方法。原创 2024-03-19 23:59:18 · 974 阅读 · 0 评论 -
LLM的tokenizer方式解读
分词器的一些基础信息,比如词表大小vocab_size=151643,还有3个特殊符号151643、151644和151645等信息。最基础encode和decode,将文本转化为词表的id或者id序列转化为可阅读的文本字符串。在LLM处理中有很多关于tokenizer的方式,方便记忆理解,在此特意整理一下。transformers 版本 2.1.1。构造LLM模型可以识别的输入格式,直接调用。函数可以构造带有提示词模式的模型输入。模型的tokenizer为例。加载tokenizer。原创 2024-07-30 20:32:38 · 285 阅读 · 0 评论