- 博客(15)
- 收藏
- 关注
原创 LLM多机部署
这里的device_map="auto"默认了模型会自动在多GPU上分片加载模型。huggingface仓库的官方代码一般也是这样的。用transformers库或者modelscop库部署LLM进行推理时,可能会遇到多机的情况。发现相关问题都可以直接看huggingface库的文档,写的都很明白。当然modelscope的官方文档就算了吧,写的不清不楚。
2024-02-17 20:49:22 652 1
原创 Langchain+ElasticSearch+文心千帆 构建检索增强LLM Agent
使用ElasticSearch作为数据库存储相关知识,使用百度文心千帆的embedding API提供向量嵌入;借助langchain搭建检索增强的大模型Agent
2023-11-04 16:04:08 3381 1
原创 Python自学笔记5——字符串
f-string是在.format基础上演化而来的,会被替代的字符串通过f""声明为f-string格式,并把要替换的内容写在{}中,程序运行时会用s1串替代s中{}的内容。这篇笔记主要填之前字符串的坑;之前在数据类型最早写了字符串的定义,在列表部分写了字符串的索引;但一直没写字符串的其他操作。这篇的内容不长,之后的笔记就该写函数和类了。字符串在书写中,可以用"\"隔开;这一般用于将很长的字符串写到两行以增强可读性。查找某个字符是否在字符串中/一个字符串是否是另一个的子串。
2023-07-15 15:07:54 75 1
原创 Python自学笔记3——数据结构之列表
为了讲清楚列表的优缺点,还是先从数据结构讲起的好。某帝都工科985的某院系数据结构课竟然没讲时间复杂度和空间复杂度,我只好先从这里说起,数据结构学的好的可以直接跳过了。
2023-07-10 15:45:35 145 1
原创 Python自学笔记2——控制结构
这部分主要介绍Python的控制结构(顺序、选择分支、循环),和一些特殊的语句(pass, try-except,assert等)
2023-07-09 12:21:40 119 1
原创 Tacotron2语音合成项目——基于mindspore和modelarts
tacotron2的语音合成项目,模型本身不难跑,但用华为真的很难跑。
2023-06-07 21:16:16 1158 2
原创 document-question-answering-bot(文档问答机器人)
利用BERT和chatGPT做的一个关于国产deepin操作系统的问答机器人~可以回答用户的问题并给出3个最可能的答案以及答案所在的链接【通过调教让这里的GPT不会胡说八道!他现在是一个乖乖阅读文章的好AI了】
2023-06-03 19:50:28 1224
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人