大模型学习路线之入门项目推荐

最新推荐文章于 2024-10-11 20:11:47 发布
最新推荐文章于 2024-10-11 20:11:47 发布
阅读量1k 收藏 26
点赞数 28
文章标签： 学习 数据库 人工智能 ai大模型 ai 大模型 大模型入门
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/2401_86435672/article/details/142739561
版权

目录

前言

一、多模态大模型——以VisualGLM实现图文转换（入门级）

1. 安装相关依赖包

2. 导入依赖库、导入model & processor

3. 导入图片链接

4. 图生文

5. 图片内容推理

二、LLM——基于文心大模型的金融知识库问答（进阶级）

0. 环境配置

1. 载入本地非结构化文档

2. 文档split为若干chunk文本块

3. 文本Embedding–>Vectors

4. 存入向量数据库（以FAISS为例，常见向量数据库还有Milvus）

5. Query查询（用户提问）

6. Prompt合成

7. 调用LLM模型，实现答案生成任务（以文心大模型为例）

8. RAG流程封装（将提示词Prompt输入给文心大模型，获得输出结果）

三、推荐项目（综合级）

前言

​ 依托 aistudio 平台内容，章节一呈现了一个入门级demo（小白友好），以VisualGLM（多模型大模型）为例实现了图生文；章节二呈现了一个进阶版demo（适合有一定LLM基础的人群食用），以文心大模型（LLM+RAG）为例实现了金融知识库问答（参考aistudio上精品项目）；章节三推荐了数个综合级、系统化的项目（适合从事/预从事 LLM/AIGC 岗的人群食用），把每个项目深挖吃透后，基本可以从事相关岗。

一、多模态大模型——以VisualGLM实现图文转换（入门级）

1. 安装相关依赖包

用git命令从github上下载visualglm-6b模型到本地，git PaddleMIX安装包、pip其它相关依赖包。

!git clone http://git.aistudio.baidu.com/aistudio/visualglm-6b.git



!git clone https://github.com/PaddlePaddle/PaddleMIX



!pip install soundfile librosa

2. 导入依赖库、导入model & processor

import os



os.environ["CUDA_VISIBLE_DEVICES"] = "0"



os.environ["FLAGS_use_cuda_managed_memory"] = "true"



 



import requests



from PIL import Image



from PaddleMIX.paddlemix import VisualGLMForConditionalGeneration, VisualGLMProcessor



import warnings



warnings.filterwarnings('ignore')



 



 



# 设置visualglm-6b预训练模型的本地路径（PS：本地导入比直接云端下载速度会快很多）



pretrained_name_or_path = "aistudio/visualglm-6b"



model = VisualGLMForConditionalGeneration.from_pretrained(pretrained_name_or_path, from_aistudio=True,dtype="float32")



model.eval()



processor = VisualGLMProcessor.from_pretrained(pretrained_name_or_path,from_aistudio=True)

3. 导入图片链接

# 图片链接



# url = "https://paddlenlp.bj.bcebos.com/data/images/mugs.png"



url = 'https://i02piccdn.sogoucdn.com/5dd40dedd7107cc5'



image = Image.open(requests.get(url, stream=True).raw)



 



# 配置模型参数



generate_kwargs = {



        "max_length": 1024,



        "min_length": 10,



        "num_beams": 1,



        "top_p": 1.0,



        "top_k": 1,



        "repetition_penalty": 1.2,



        "temperature": 0.8,



        "decode_strategy": "sampling",



        "eos_token_id": processor.tokenizer.eos_token_id,



    }

img

图1

4. 图生文

# Epoch 1



query = "写诗描述一下这个场景"



history = []



inputs = processor(image, query)



 



generate_ids, _ = model.generate(**inputs, **generate_kwargs)



responses = processor.get_responses(generate_ids)



history.append([query, responses[0]])



print(responses)

img

图2

5. 图片内容推理

# Epoch 2



query = "这部电影的导演是谁？"



inputs = processor(image, query, history=history)



generate_ids, _ = model.generate(**inputs, **generate_kwargs)



responses = processor.get_responses(generate_ids)



history.append([query, responses[0]])



print(responses)

img

图3

二、LLM——基于文心大模型的金融知识库问答（进阶级）

img

图4. 整体流程

参考链接：https://aistudio.baidu.com/projectdetail/6682781?channelType=0&channel=0

0. 环境配置

# （1）下载PDF文档



!wget https://zihao-code.obs.cn-east-3.myhuaweicloud.com/20230709-langchain/carbon.pdf -i https://pypi.tuna.tsinghua.edu.cn/simple



!wget https://zihao-code.obs.cn-east-3.myhuaweicloud.com/20230709-langchain/car.pdf -i https://pypi.tuna.tsinghua.edu.cn/simple



 



# （2）安装依赖环境



!pip install transformers langchain openai unstructured tiktoken faiss-cpu sentence_transformers pypdf -i https://pypi.tuna.tsinghua.edu.cn/simple

1. 载入本地非结构化文档

from langchain.document_loaders import UnstructuredFileLoader



from langchain.document_loaders import PyPDFLoader



 



# 加载所有非结构化文件，提取文本



loaders = [



    PyPDFLoader('car.pdf'),



    PyPDFLoader('carbon.pdf')



]



# loaders = [



#     UnstructuredFileLoader('思修2018.txt'),



#     UnstructuredFileLoader('近代史2018.txt'),



#     PyPDFLoader('马原2023.pdf'),



#     PyPDFLoader('毛概2023.pdf')



# ]



 



# 把每个非结构化文件存入docs列表，并保存了对应出处



docs = []



for loader in loaders:



    docs.extend(loader.load())

2. 文档split为若干chunk文本块

from langchain.text_splitter import CharacterTextSplitter



 



text_splitter = CharacterTextSplitter(chunk_size=300, chunk_overlap=30, separator='\n')



splits = text_splitter.split_documents(docs)



print(len(splits))

3. 文本Embedding–>Vectors

from langchain.embedding import HuggingFaceEmbeddings



 



embedding_model = 'moka-ai/m3e-base'



embedding = HuggingFaceEmbeddings(model_name=embedding_model)

4. 存入向量数据库（以FAISS为例，常见向量数据库还有Milvus）

from langchain.vectorstores import FAISS



 



# 提取每个chunk文本块的Embedding向量，构建知识库文本-向量数据库



vector_store = FAISS.from_documents(splits, embeddings)

5. Query查询（用户提问）

query = '政府发布了哪些双碳政策文件'



 



# 针对query进行相似性搜索，从知识向量库（FAISS）检索出最相似的TOP K个Chunk



K = 5



docs_and_scores = vector_store.similarity_search_with_score(question, k=K)



print(docs_and_scores)



 



 



# 打印TOP K Chunk的来源、字数、和query相似度打分



for i in range(docs_and_scores):



    source = docs_and_scores[i][0].metadata['source']



    content = docs_and_scores[i][0].page_content



    similarity = docs_and_scores[i][1]



    print(f'来源：{source}，      字数：{len(content)}，      相似度打分：{similarity}')



    print(content[:30]+'......')



    print('————————————————————————————————————')

img

图5

6. Prompt合成

# 6.1. 生成背景内容(Top K个相似内容拼接)



context = ''



for i in docs_and_scores:



    context +=doc[0].page_content



    context +='\n'



print(context)



 



# 6.2. 生成提示词



prompt = f'你是一个学习助手，请根据下面的已知信息回答问题，你只需要回答和已知信息相关的问题，如果问题和已知信息不相关，你可以直接回答"不知道" 问题：{query} 已知信息:{context}'

img

图6

7. 调用LLM模型，实现答案生成任务（以文心大模型为例）

import requests



 



class BaiduErnie:



    host: str = "https://aip.baidubce.com"



    client_id: str = ""



    client_secret: str = ""



    access_token: str = ""



 



    def __init__(self, client_id: str, client_secret: str):



        self.client_id = client_id



        self.client_secret = client_secret



        self.get_access_token()



 



    def get_access_token(self) -> str:



        url = f"{self.host}/oauth/2.0/token?grant_type=client_credentials&client_id={self.client_id}&client_secret={self.client_secret}"



        response = requests.get(url)



        if response.status_code == 200:



            self.access_token = response.json()["access_token"]



            return self.access_token



        else:



            raise Exception("获取access_token失败")



 



    def chat(self, messages: list, user_id: str) -> tuple:



        if not self.access_token:



            self.get_access_token()



        url = f"{self.host}/rpc/2.0/ai_custom/v1/wenxinworkshop/chat/eb-instant?access_token={self.access_token}"



        data = {"messages": messages, "user_id": user_id}



        response = requests.post(url, json=data)



        if response.status_code == 200:



            resp = response.json()



            return resp["result"], resp



        else:



            raise Exception("请求失败")



 



 



# 填入文心大模型后台的API信息



# 获取地址： https://console.bce.baidu.com/ai/?_=1711963019980#/ai/intelligentwriting/overview/index



client_id = ""       # 自己的client_id



client_secret = ""   # 自己的client_secret



user_id = ""         # 自己的user_id



baidu_ernie = BaiduErnie(client_id, client_secret)



 



def chat(prompt):



    messages = []



    messages.append({"role": "user", "content": prompt})



    result, response = baidu_ernie.chat(messages, user_id)



    return result



result = chat('你是哪家公司开发的什么大语言模型？')



print(result)



# result：我是百度公司开发的知识增强语言模型，能够与人对话互动，回答问题，协助创作，高效便捷地帮助人们获取信息、知识和灵感。

8. RAG流程封装（将提示词Prompt输入给文心大模型，获得输出结

果）

def predict(query):



    docs_and_scores = vector_store.similarity_search_with_score(query, k=K)



 



    context = ''



    for doc in docs_and_scores:



        context +=doc[0].page_content



        context +='\n'



 



        prompt = '你是一个学习助手，请根据下面的已知信息回答问题，你只需要回答和已知信息相关的问题，如果问题和已知信息不相关，你可以直接回答"不知道" 问题：{} 已知信息:{}'.format(query, context)



        # 输入文心大模型



        result = chat(prompt)



        print(result)



 



predict('政府发布了哪些双碳政策文件')



# 根据政府发布的信息，中国提出了30·60“双碳”目标，并发布了《关于完整准确全面贯彻新发展理念做好碳达峰碳中和工作的意见》和《2030年前碳达峰行动方案》等纲领性文件，以保障目标的实现。中国作为全球第二大经济体，始终高度关注气候变化对国家和社会的影响。

三、推荐项目（综合级）

（1）多模态大模型（慎入，因为封闭式学习时长需要2周左右）：https://aistudio.baidu.com/education/group/info/29948

（3）医学人工智能与大模型：https://aistudio.baidu.com/education/group/info/30524

（4）数字人定制（定制声音、造型，生成数字人，用于语音识别 & 聊天 & 翻译）：https://aistudio.baidu.com/projectdetail/6998882?channelType=0&channel=0

最后如果您也对AI大模型感兴趣想学习却苦于没有方向👀
小编给自己收藏整理好的学习资料分享出来给大家💖
👉获取方式：

😝有需要的小伙伴，可以保存图片到wx扫描二v码关注免费领取【保证100%免费】🆓

在这里插入图片描述

👉AI大模型学习路线汇总👈

大模型学习路线图，整体分为7个大的阶段：（全套教程文末领取哈）
在这里插入图片描述

第一阶段： 从大模型系统设计入手，讲解大模型的主要方法；

第二阶段： 在通过大模型提示词工程从Prompts角度入手更好发挥模型的作用；

第三阶段： 大模型平台应用开发借助阿里云PAI平台构建电商领域虚拟试衣系统；

第四阶段： 大模型知识库应用开发以LangChain框架为例，构建物流行业咨询智能问答系统；

第五阶段： 大模型微调开发借助以大健康、新零售、新媒体领域构建适合当前领域大模型；

第六阶段： 以SD多模态大模型为主，搭建了文生图小程序案例；

第七阶段： 以大模型平台应用与开发为主，通过星火大模型，文心大模型等成熟大模型构建大模型行业应用。

👉如何学习AI大模型？👈

作为一名热心肠的互联网老兵，我决定把宝贵的AI知识分享给大家。 至于能学习到多少就看你的学习毅力和能力了 。我已将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

这份完整版的大模型 AI 学习资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】
在这里插入图片描述

一、全套AGI大模型学习路线

AI大模型时代的学习之旅：从基础到前沿，掌握人工智能的核心技能！
在这里插入图片描述

二、640套AI大模型报告合集

这套包含640份报告的合集，涵盖了AI大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师，还是对AI大模型感兴趣的爱好者，这套报告合集都将为您提供宝贵的信息和启示。
在这里插入图片描述

三、AI大模型经典PDF籍

随着人工智能技术的飞速发展，AI大模型已经成为了当今科技领域的一大热点。这些大型预训练模型，如GPT-3、BERT、XLNet等，以其强大的语言理解和生成能力，正在改变我们对人工智能的认识。 那以下这些PDF籍就是非常不错的学习资源。
在这里插入图片描述

四、AI大模型商业化落地方案

在这里插入图片描述

作为普通人，入局大模型时代需要持续学习和实践，不断提高自己的技能和认知水平，同时也需要有责任感和伦理意识，为人工智能的健康发展贡献力量。

大模型八哥
关注
AI：159-大模型的学习路线图推荐—多维度深度分析
一键难忘的博客
01-22 3137
大模型的初心是让训练出来的模型具备不同领域的认知力，既能有泛化的能力，又能有自我进化的能力。未来，大模型将致力于构建通用的人工智能算法底层架构，将模型的认知力从单领域泛化到多领域融合，在不同场景中自我生长，向可持续、可进化的方向发展。尽管大模型在很多任务上已经取得了显著的成果，但仍存在一些局限性，如数据集的规模和质量、模型的泛化能力、训练的效率和稳定性等。● 模型可解释性的提高：目前的大型模型往往难以解释，未来随着技术的不断发展，大型模型的解释性将会得到提高，人们将能够更好地理解模型的工作原理和决策依据。
C/C++学习路线总结与分享
热门推荐
dvlinker的技术专栏
10-07 9万+
C/C++学习路线总结与分享
大模型项目整体规划、技术选型和案例分析经验分享
安静的软件工程师
04-14 1813
大模型项目整体规划、技术选型和案例分析经验分享
大模型学习路线（10）——入门项目推荐
qq_51175703的博客
04-01 1956
章节一呈现了一个入门级demo（小白友好），以VisualGLM（多模型大模型）为例实现了图生文；章节二呈现了一个进阶版demo（适合有一定LLM基础的人群食用），以文心大模型（LLM+RAG）为例实现了金融知识库问答（参考aistudio上精品项目）；章节三推荐了数个综合级、系统化的项目（适合从事、预从事 LLM/AIGC 岗的人群食用），每个项目深挖吃透后，基本可以从事相关岗位的工作。
大模型：2024开源项目汇总
z099164的博客
07-26 1613
当大模型成本逐渐降低，可靠性提升后，这意味着越来越多的业务应用将会与 LLM 结合，为了让这种结合更加顺畅，需要有与现有来支撑 LLM 应用开发的快速开发应用构建工具: 插件中心, 流程编排, Prompt工程, RAG, Agent模型开发工具: 训练数据管理, 模型调优, 模型评测, 模型部署对比说明可参考：**2.1 Dify：**开源的 LLM 应用开发平台。其直观的界面结合了 AI 工作流、RAG 、Agent、模型管理、可观测性功能等，让您可以快速从原型到生产。
大模型实战项目哪里找，我都给你整理完了，练完它你就是LLM大师！
2401_84204413的博客
08-16 1715
大模型实战项目是当前人工智能领域的一个重要组成部分，特别是对于自然语言处理（NLP）、计算机视觉（CV）以及其他相关领域。这些项目不仅能够加深对大模型的理解，还能帮助开发者和研究者将理论知识应用于实际场景中。以下是几个精心挑选的大模型实战项目案例，涵盖了从入门到进阶的不同难度级别。技术要点：模型选择：可以选择基于Transformer架构的多模态模型，如CLIP等。数据准备：需要大量的带有文本描述的图像数据集来进行微调。训练策略：使用对比损失函数来优化模型，确保模型能够生成与描述相匹配的图像。
十三、大模型项目部署与交付
挑大梁的专栏
05-02 1160
vLLM 无缝支持多个 Hugging Face 模型，包括 Aquila、Baichuan、BLOOM、Falcon、GPT-2、GPT BigCode、GPT-J、GPT-NeoX、InternLM、LLaMA、Mistral、MPT、OPT、Qwen 等不同架构的模型。vLLM 比 HuggingFace Transformers（HF）的吞吐量高出 8.5 倍-15 倍，比 HuggingFace 文本生成推理（TGI）的吞吐量高出 3.3 倍-3.5 倍。支持张量并行处理，实现分布式推理。
基于Django框架和LDA机器学习模型实现北京旅游路线推荐系统python源码.zip
05-12
基于Django框架和LDA机器学习模型实现北京旅游路线推荐系统python源码.zip基于Django框架和LDA机器学习模型实现北京旅游路线推荐系统python源码.zip基于Django框架和LDA机器学习模型实现北京旅游路线推荐系统python...
AI大模型应用入门实战与进阶：大模型在医疗影像分析中的应用
AI天才研究院
01-09 1312
1.背景介绍 医疗影像分析是一种利用计算机辅助诊断和治疗疾病的方法，主要通过对医疗影像数据进行处理、分析和挖掘，以提高医疗诊断和治疗的准确性和效率。随着人工智能技术的不断发展，大模型在医疗影像分析中的应用也逐渐成为一种主流方法。这篇文章将从入门级别到进阶级别，详细介绍大模型在医疗影像分析中的应用，包括背景、核心概念、算法原理、具体操作步骤、代码实例、未
React 学习路线 和10个项目入门
10-14
React是一个为数据提供渲染为HTML视图的开源JavaScript 库。...React为程序员提供了一种子组件不能直接影响外层组件的模型，数据改变时对HTML文档的有效更新，和现代单页应用中组件之间干净的分离。
大模型应用场景落地项目实操，附详细解读
最新发布
2301_82275412的博客
10-11 942
你是否学习了大模型技术，但是不知道如何落地？今天带来5个大模型落地项目，保证你看完一定有所收获！
大模型项目实战：从基础到上手，LLM大模型一键掌握
2401_84204413的博客
09-12 1463
加载预训练模型和分词器# 定义RAG系统的核心组件# ...# 根据输入检索文档片段并生成答案构建企业对话系统# 加载预训练模型和分词器# 准备对话数据集# 数据集处理和加载# 训练参数配置# 实例化训练器# 开始训练。
【大模型实战篇】从零构建基座大模型项目推介
源泉的小广场
08-04 1006
大模型、大语言模型、LLM、端到端训练、教程、llama3、gpt系列、分词器、transformer、swiglu、注意力机制、rms normalization
【研究】大模型应用场景分类与硬件升级
加百力 的技术博客
06-24 2614
大模型应用#1：从Chatbot到AI Agent，个人助理重塑手机应用生态 AI大模型的能力进步推动Chatbot在C端广泛“出圈”。Chatbot（聊天机器人）通过自动化方式来处理和回复用户输入，可以模拟人类对话，通过文字或语音与用户进行实时交互。2010年代，随着NLP等技术的发展，Chatbot已经在客服、营销、企业信息服务等领域得到了广泛应用。然而，由于语言理解及生成能力有限，因此Chatbot的落地范围局限在B端特定服务型场景，并未诞生具有广泛影响力的C端产品。2022年12月，ChatGPT
大模型开发流程及项目实战
xiangxueerfei的博客
08-27 1646
我们将开发以大语言模型为功能核心、通过大语言模型的强大理解能力和生成能力、结合特殊的数据或业务逻辑来提供独特功能的应用称为大模型开发。开发大模型相关应用，其技术核心点虽然在大语言模型上，但一般通过调用 API 或开源模型来实现核心的理解与生成，通过 Prompt Enginnering 来实现大语言模型的控制，因此，虽然大模型是深度学习领域的集大成之作，大模型开发却更多是一个工程问题。
太牛了！PDF 文件的大模型问答系统
ytt0523_com的博客
07-03 1336
这个项目拿到国内绝对可以融资！源代码国内投资人都疯狂的找这种大模型的应用。通过读取PDF，快速整理，并输出知识，能够满足问答。这种应用非常赚取。（没有梦想的中国投资人最喜欢这个）
大模型应用开发的学习路线
09-15
大模型应用开发的学习路线通常会包括以下几个步骤： 1. **基础知识**：首先，需要掌握编程语言基础，比如Python、Java或C++等，因为大模型如Transformer架构通常会被这些语言用于研究和开发。了解数据结构、算法和基本的机器学习原理也很关键。 2. **深度学习入门**：学习深度学习的基本概念，例如神经网络的工作原理、反向传播等，理解TensorFlow、PyTorch等深度学习框架。 3. **大模型原理**：深入学习预训练模型，如BERT、GPT系列，理解它们是如何通过大量数据自我训练生成文本的。你需要熟悉模型架构、训练流程和调参技巧。 4. **模型调用API**：学会如何利用现成的大模型服务（如Hugging Face的Transformers库），调用预训练模型进行推理或微调。 5. **实践项目**：参与实际项目，可以是情感分析、文本生成、问答系统等，这有助于理解和应用大模型。 6. **模型部署**：了解模型部署的知识，包括将模型转化为生产环境可用的服务，如Docker容器、服务器集成或云平台部署。 7. **持续学习**：跟踪最新的研究成果和技术更新，关注像ACL、ICML这样的学术会议，以及开源社区的动态。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值