LLM
文章平均质量分 78
我爱Python数据挖掘
文章专注于Python、数据分析、数据挖掘、深度学习等
展开
-
聊一聊国内大模型公司,大模型面试心得、经验、感受
这段时间面试了很多家,也学到了超级多东西。楼主这边背景是做基座预训练算法端为主的,对框架端和RL的内容有一定了解(面试能凑合),对于后端的知识比如ML compiler,kernel,cuda相关的了解就比较浅了(问到觉大概率挂)。硬件几乎不太懂。感觉一圈聊下来几点感悟:大模型这方向真的卷,面试时好多新模型,新paper疯狂出,东西出的比我读的快。Research岗位对工程也有要求,工程端也需要了解模型。感觉比较硬核的岗位,尤其初创公司都是对好几个点都有要求的(应用,模型,框架,底层后端,硬件)。原创 2023-09-29 14:43:33 · 1079 阅读 · 0 评论 -
GPU安装指南:英伟达H800加速卡常见软件包安装命令
如果使用H800,CUDA版本要在11.8及以上,同时,PyTorch版本要在2.0.0以上。下面是我使用CUDA为11.7,同时PyTorch为1.13.1的报错信息。原创 2023-08-20 13:45:33 · 2388 阅读 · 1 评论 -
GPU安装指南:英伟达A800加速卡常见软件包安装命令
完整原创 2023-08-20 13:40:39 · 1295 阅读 · 0 评论 -
一文入门最热的LLM应用开发框架LangChain
假如我们想要用 openai api 对一个段文本进行总结,我们通常的做法就是直接发给 api 让他总结。但是如果文本超过了 api 最大的 token 限制就会报错。这时,我们一般会进行对文章进行分段,比如通过 tiktoken 计算并分割,然后将各段发送给 api 进行总结,最后将各段的总结再进行一个全部的总结。LangChain 很好的帮我们处理了这个过程,使得我们编写代码变的非常简单。# 导入os,设置环境变量。导入文本加载器、总结链、文本分割器及OpenAI模型import os。原创 2023-08-20 12:35:16 · 1109 阅读 · 1 评论