- 博客(6)
- 收藏
- 关注
RSS订阅原创 opencompass大模型评测
除了基础的LLM评测，OpenCompass还做了大模型评测的一些前沿探索：多模态评测(MMbench),垂直领域大模型评测(Lawbench,Medbench)重要的文件目录-config # 要运行配置.py的文件 -data # 数据文件夹 -outputs # 输出文件夹 -opencompass #核心功能和工具文件夹 -tools #用户工具文件夹：方便用户使用的工具(如查看支持的模型等) -run.py # 运行文件。
2024-01-28 23:57:06
947
1
原创 lmdeploy量化部署
显存占用大生成速度(访存速度慢是主要瓶颈)即对于历史信息的动态分割与融合输入，输出以及KV Cache会被缓存下来理论上可以支持无限长的状态存储空间充足时：token id和k/v block一起存储空间不充足时：只存储token id，再输入命中时，再重新启动推理得到其k/v value。
2024-01-27 19:04:57
936
1
原创 langchain和RAG
llm.predict("你是谁")构建检索问答链，还需要构建一个 Prompt Template，该 Template 其实基于一个带变量的字符串，在检索之后，LangChain 会将检索到的相关文档片段填入到 Template 的变量中，从而实现带知识的 Prompt 构建。from langchain . prompts import PromptTemplate # 我们所构造的 Prompt 模板 template = """使用以下上下文来回答用户的问题。如果你不知道答案，就说你不知道。
2024-01-12 10:45:33
992
1
原创 InternLM介绍以及Demo实践
大模型通常指的是机器学习或人工智能领域中参数数量巨大、拥有庞大计算能力和参数规模的模型。这些模型利用大量数据进行训练，并且拥有数十亿甚至数千亿个参数。大模型的出现和发展得益于增长的数据量、计算能力的提升以及算法优化等因素。这些模型在各种任务中展现出惊人的性能，比如自然语言处理、计算机视觉、语音识别等。这种模型通常采用深度神经网络结构，如BERTGPT（ Generative Pre-trained Transformer ）等。大模型的优势在于其能够捕捉和理解数据中更为复杂、抽象的特征和关系。
2024-01-09 00:47:23
1140
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人