- 博客(15)
- 收藏
- 关注
RSS订阅原创 LLM多机部署
这里的device_map="auto"默认了模型会自动在多GPU上分片加载模型。huggingface仓库的官方代码一般也是这样的。用transformers库或者modelscop库部署LLM进行推理时，可能会遇到多机的情况。发现相关问题都可以直接看huggingface库的文档，写的都很明白。当然modelscope的官方文档就算了吧，写的不清不楚。
2024-02-17 20:49:22
520
1
原创 Langchain+ElasticSearch+文心千帆 构建检索增强LLM Agent
使用ElasticSearch作为数据库存储相关知识，使用百度文心千帆的embedding API提供向量嵌入；借助langchain搭建检索增强的大模型Agent
2023-11-04 16:04:08
3201
1
原创 Python自学笔记5——字符串
f-string是在.format基础上演化而来的，会被替代的字符串通过f""声明为f-string格式，并把要替换的内容写在{}中，程序运行时会用s1串替代s中{}的内容。这篇笔记主要填之前字符串的坑；之前在数据类型最早写了字符串的定义，在列表部分写了字符串的索引；但一直没写字符串的其他操作。这篇的内容不长，之后的笔记就该写函数和类了。字符串在书写中，可以用"\"隔开；这一般用于将很长的字符串写到两行以增强可读性。查找某个字符是否在字符串中/一个字符串是否是另一个的子串。
2023-07-15 15:07:54
65
1
原创 Python自学笔记3——数据结构之列表
为了讲清楚列表的优缺点，还是先从数据结构讲起的好。某帝都工科985的某院系数据结构课竟然没讲时间复杂度和空间复杂度，我只好先从这里说起，数据结构学的好的可以直接跳过了。
2023-07-10 15:45:35
102
1
原创 Python自学笔记2——控制结构
这部分主要介绍Python的控制结构（顺序、选择分支、循环），和一些特殊的语句（pass, try-except，assert等）
2023-07-09 12:21:40
81
1
原创 Tacotron2语音合成项目——基于mindspore和modelarts
tacotron2的语音合成项目，模型本身不难跑，但用华为真的很难跑。
2023-06-07 21:16:16
1100
2
原创 document-question-answering-bot（文档问答机器人）
利用BERT和chatGPT做的一个关于国产deepin操作系统的问答机器人~可以回答用户的问题并给出3个最可能的答案以及答案所在的链接【通过调教让这里的GPT不会胡说八道！他现在是一个乖乖阅读文章的好AI了】
2023-06-03 19:50:28
1156
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人