最近有很多小伙伴问我,之前从事的其他领域的编程,现在想要学习AI大模型开发的相关技能,不知道从哪下手,应该学习些什么,下面四个是我认为从事大模型开发,必须掌握的四个开源工具,大家可以作为参考:
1、Hugging Face(抱抱脸)
Hugging Face是现在最大的AI开源社区,里面提供了很多的预训练模型,是一个模型库,很多人会把自己训练好的模型上传上去,大家可以免费下载使用。下载下来之后,我们就可以在此基础之上,进行微调或者推理,不用从0去训练一个大模型。并且大家可能都知道,微调模型时,数据的准备是一件费时费力的事,而在Hugging Face上也有很多的数据集,可供大家下载使用。所以Hugging Face也被人称作:AI领域的GitHub。
2、PyTorch
现在你从Hugging Face下载了一个模型之后,下一步要开始微调了,此时就需要用到PyTorch了。PyTorch是一个基于Python的开源机器学习库,可以说现在已经成为最流行的机器学习和深度学习框架了,它提供了一套简洁且强大的API,使得模型的构建和操作更加直观,你只需通过几行代码就可以构建自己的大模型。
3、DeepSpeed
通过上面两步的操作,你已经从Hugging Face上下载了一个模型,用PyTorch写好了微调的代码,现在准备要在服务器上进行训练或微调了,这时候我们就需要用到下面的这个工具了:DeepSpeed。因为大模型在服务器上进行训练或微调时,不可能只在一台服务器上,而DeepSpeed的作用是可以将你的模型快速放在多台服务器上进行并行化的训练或推理,所以你还需要继续完善代码,添加对DeepSpeed的支持。
上面的步骤都完成之后,你可以真正的在服务器上去训练或微调你的大模型了。最后你会得到一个训练或微调后的大模型文件,自己可以推理测试下,看看被你用于微调的数据集,是不是可以被推理出来。
4、LangChain
大模型被训练后,主要的作用是要用来进行推理。而我们可以开发一些AI应用,去调用大模型完成推理,例如去构建一个结合RAG+LLM的企业内部知识库系统,去开发一个基于AI的聚合搜索引擎,去开发某个领域的AI智能体应用等等。这时候,我们需要用到这个框架:LangChain。LangChain的定位是一个用于构建基于LLM驱动的应用程序开源框架,方便我们快速构建基于LLM的应用程序。里面内置很多API,简化了对大模型的操作。所以如果要基于大模型去开发应用程序,LangChain必不可少。
------------------
通过上面介绍的四款开源工具,我们可以从0去构建一个大模型了,并且还可以在此基础上去开发应用程序。我相信,上面这四款工具,现在已经成为了从事AI领域开发从业人员必备的4件套了。
但是上面的四款工具,如果你不是搞大模型的,只是单纯的开发大模型应用程序,掌握LangChain就可以了,无需掌握其他三个。
如何学习大模型 AI ?
由于新岗位的生产效率,要优于被取代岗位的生产效率,所以实际上整个社会的生产效率是提升的。
但是具体到个人,只能说是:
“最先掌握AI的人,将会比较晚掌握AI的人有竞争优势”。
这句话,放在计算机、互联网、移动互联网的开局时期,都是一样的道理。
大模型&AI产品经理如何学习
求大家的点赞和收藏,我花2万买的大模型学习资料免费共享给你们,来看看有哪些东西。
1.学习路线图
第一阶段: 从大模型系统设计入手,讲解大模型的主要方法;
第二阶段: 在通过大模型提示词工程从Prompts角度入手更好发挥模型的作用;
第三阶段: 大模型平台应用开发借助阿里云PAI平台构建电商领域虚拟试衣系统;
第四阶段: 大模型知识库应用开发以LangChain框架为例,构建物流行业咨询智能问答系统;
第五阶段: 大模型微调开发借助以大健康、新零售、新媒体领域构建适合当前领域大模型;
第六阶段: 以SD多模态大模型为主,搭建了文生图小程序案例;
第七阶段: 以大模型平台应用与开发为主,通过星火大模型,文心大模型等成熟大模型构建大模型行业应用。
2.视频教程
网上虽然也有很多的学习资源,但基本上都残缺不全的,这是我自己整理的大模型视频教程,上面路线图的每一个知识点,我都有配套的视频讲解。
(都打包成一块的了,不能一一展开,总共300多集)
因篇幅有限,仅展示部分资料,需要点击下方图片前往获取
3.技术文档和电子书
这里主要整理了大模型相关PDF书籍、行业报告、文档,有几百本,都是目前行业最新的。
4.LLM面试题和面经合集
这里主要整理了行业目前最新的大模型面试题和各种大厂offer面经合集。
👉学会后的收获:👈
• 基于大模型全栈工程实现(前端、后端、产品经理、设计、数据分析等),通过这门课可获得不同能力;
• 能够利用大模型解决相关实际项目需求: 大数据时代,越来越多的企业和机构需要处理海量数据,利用大模型技术可以更好地处理这些数据,提高数据分析和决策的准确性。因此,掌握大模型应用开发技能,可以让程序员更好地应对实际项目需求;
• 基于大模型和企业数据AI应用开发,实现大模型理论、掌握GPU算力、硬件、LangChain开发框架和项目实战技能, 学会Fine-tuning垂直训练大模型(数据准备、数据蒸馏、大模型部署)一站式掌握;
• 能够完成时下热门大模型垂直领域模型训练能力,提高程序员的编码能力: 大模型应用开发需要掌握机器学习算法、深度学习框架等技术,这些技术的掌握可以提高程序员的编码能力和分析能力,让程序员更加熟练地编写高质量的代码。
1.AI大模型学习路线图
2.100套AI大模型商业化落地方案
3.100集大模型视频教程
4.200本大模型PDF书籍
5.LLM面试题合集
6.AI产品经理资源合集
👉获取方式:
😝有需要的小伙伴,可以保存图片到wx扫描二v码免费领取【保证100%免费】🆓