AI大模型:大数据+大算力+强算法

前言:好久不见,甚是想念,我是辣条,我又回来啦,兄弟们,一别两年,还有多少老哥们在呢?

目录

一年半没更文我干啥去了?

AI大模型火了

人工智能

大模型的理解

为什么学习大模型

大模型Function Calling功能增强

大模型接入公司的数据:embeddings&RAG

 国产大模型

大模型学习路线

阶段一:AI大模型时代的华丽登场

阶段二:AI大模型API应用开发工程 

阶段三:大模型应用架构进阶实践

阶段四:大模型微调与私有化部署 

总结:我眼中的IT行业现状与未来趋势


一年半没更文我干啥去了?

不仅我没更文,好像跟我同一批的很多博主都没有更文了,有点怀念那个时候大家一起从0粉开始输出,大家相互卷,卷内容,卷文字,从普通的几百字文章到几千字的文章,最后动不动就万字长文,甚至恐怖到十万字长文,当时官方也吐槽:我们这些博主怎么动不动搞这种大长文?当时大家的卷还不是为了那份流量,从开始的博文记录自己的技术学习到后面为了用户而出输出,那段时间很快乐,很充实,很安逸。

有人说经常怀念过去的人是现在过的不好,好像说对了,好像有不对,你觉得呢?这一年半我自己也经历了不好,因为图文创作本身是没啥收益的,当时后面去试了短视频创作这块,我们一批很多博主后面都尝试了,最后破圈成功的只有英雄老哥【ID:英雄哪里出来】,他现在某站和某音粉丝量惊人,甚至是我们这个赛道里的头部博主了,以前搞博客赛道的时候就是CSDN的头部,现在也是短视频程序员里的头部,所以成功的人好像做啥都能成功,就像雷军雷总一样,当初写代码那么优秀,后面把小米手机做的这么优秀,现在小米汽车同样做的这么优秀。任何人之间的差距,有外在的更有内在的,人往往被外在迷惑而忽视了内自。

我也经历许多挫折,能怎么办呢,拍拍身上的灰尘,继续向前进,与各位互勉。

AI大模型火了

好像火了,年年都在炒,年年炒的东西都不一样,我不想聊纯技术的东西(其实我不太擅长技术0.0),我就蹭蹭这个热度(我不是纯蹭啊,蹭热度的同时跟大家聊明白)

人工智能

传统AI

传统AI技术在工业控制、智能家居、无人驾驶、自动回复等领域也取得了较好的应用效果,在智能家居领域,传统AI技术能够实现对家居设备的智能控制,提高居住舒适度。比如家里的小度小度,智能语音机顶盒,智能控制的电器,就是最多的应用场景。但是它一般比较难有上下文的语言关联能力,也就是说,它不能够结合之前人类跟它的沟通来回答人类的问题。典型的代表就是智能客服,智能客服经常进入死循环,这就是因为没有结合上下文能力的原因。传统AI技术主要基于规则和知识库进行问题求解。

大模型

大模型在自然语言处理、计算机视觉、语音识别等领域取得了显著的成果。大模型还在金融、医疗、教育等领域取得了较好的应用效果。他最大的特点是,大模型给人的感觉是他能够像人一样“思考”,能够结合上下文的内容进行像人一样的回答,似乎它有记忆力一样。

大模型通常采用深度学习技术,通过大规模 数据集 训练出深度神经网络,从而实现对复杂问题的高效解决。大模型具有较好的泛化能力,能够在大量数据集上获得较好的性能。此外,大模型还具有较好的可扩展性,能够通过增加网络深度和网络宽度来提高性能。在人工智能(AI)领域,语言模型是一种可以预测文本序列的概率的统计模型。

大模型的理解

为什么学习大模型

通俗的理解:大模型是一个训练好的智能集体,它不具备联网的能力,它更像是一个人,但是这个人没有手机和电脑可以联网,因此你对它提问,它都会基于自己的知识理解给你答案,这个答案不一定是正确的。因此,大模型的数据知识库知识库是截至到2021年9月份的,这也就意味着在这个日期之后的知识它是一无所知的,尽管可以通过激发它的涌现能力让它具备一定的推理能力。

需要学习的人群:AI使用者:使用别人开发的AI工具,每个人都是这个角色。AI产品设计者:设计给他人使用的AI工具。AI产品开发者: 编程实现AI工具。AI产品的设计和开发者,是一般人在AI中具有最大的机会的人。

大模型Function Calling功能增强

当大模型不懂某些技能,怎么办?比如,我问:请问明天我需要打伞吗?,这个问题大模型是解决不了的,因为大模型是没有联网的。

大模型会需要查询我所在地址的天气情况,然后基于天气情况才能告诉我我是否需要打伞

于是大模型就会去查询天气,然后综合天气给的结果给我们一个答案

模型的结构

  • 应用如下所示

    Function Calling
  • 在上图中②所做的事就是,大模型发现自己要回答问题需要知道天气情况才能给出答案,因此,大模型就会去去调用天气的接口函数,查询天气,这个过程就是Function calling
  • Agent

    大模型能够充分发挥自身的语义理解能力,解析用户的输入,然后在函数库中自动挑选出最合适函数进行运行,并给出问题的答案,整个过程不需要人工手动干预。这整个过程,好像不需要人处理,大模型自己就像人一样在做整个流程,这个流程的组合体就是一个智能的人一样,称为Agent,智能体。
  • APIs

    我们给大模型提供的接口肯定就不止是一个,可能是很多个,一系列的,那么这一系列的接口,我们称为APIs,函数库

大模型接入公司的数据:embeddings&RAG

  • 当一个公司有一系列的书本资料的时候,遇到了问题需要人去查书,然后再总结,这个过程很慢,那么可以把这个整理为一个向量库的标准数据,然后当用户向大模型提出问题的时候,大模型就会去这个数据库中查找数据,并反馈给用户结果

  • embeddings

    • 由于大语言模型信息的滞后性以及不包含业务知识的特点,我们经常需要外挂知识库来协助大模型解决一些问题

    • 为了让外挂的知识库更好的被访问,于是需要对数据进行标准的格式输出,我们称之为向量化》embeddings

  • RAG

    • 相比于仅依赖大型语言模型的生成,RAG技术可以从外部知识库中检索信息,避免了模型的幻觉问题,并提升了对实时性要求较高问题的处理能力。与传统的知识库问答系统相比,RAG技术更加灵活,可以处理非结构化的自然语言文本。

    • RAG并非旨在取代已有的知识库问答系统,而是作为一种补充,强调实时性和准确性,并且通过结合生成和检索机制来提升自然语言处理任务的效果。

    • RAG优势

 国产大模型

  • 文心一言

  • 智谱清言

  • 星火大模型

  • 通义千问

  • MOSS

  • 盘古大模型

  • 云雀

  • 混元

  • 商汤 - 商量SenseChat

  • 中科院自动化所 - 紫东太初大模型

  • 上海人工智能实验室 - 书生通用大模型

  • 百川智能 - 百川大模型

  • 清华大学 - ChatGLM-6B

大模型学习路线

阶段一:AI大模型时代的华丽登场

  • 学习目标:所有行业的人都需要真正的了解的大模型,它不是ChatGPT的使用培训,而是更高级别的全面了解各种大模型,并能够更好的使用这些大模型

  • 内容

    • 第一阶段. 理解大模型

      • 初识大模型

        • 人工智能演进与大模型兴起:从AI1.0到AI2.0的变迁

        • 大模型与通用人工智能

        • GPT模型的发展历程:GPT-1到GPT-4

        • .最新发展:GPT4-Turbo和GPTs

        • 未来展望:大模型的趋势与挑战

      • 国产大模型介绍

        • 1.文心一言

        • 2.星火大模型

        • 3.智谱清言大模型

        • 4.盘古大模型

      • 大模型核心原理

        • 1. 理解大模型成功的背后

        • 2. 理解生成式模型与语言模型

        • 3. Transformer架构深度解析

        • 4. 关键技术解析:预训练、SFT、RLHF

        • 5. GPT4应用实例与Prompt使用技巧

        • 6. 交互式讨论:当前大模型应用场景

      • 实践中的大模型

        • 1. GPT模型实际应用与成本分析

        • 2. OpenAI基础API实操

        • 3. OpenAI Playground与参数调整

    • 第二阶段. 大模型提示工程

      • AI开发环境

        • Python快速入门

        • pip工具快速掌握

        • IDE搭建与使用

      • 提示工程基础

        • 什么是提示工程

        • Prompt的构成与调优

        • 基于OpenAI的Prompt案例

      • 提示工程进阶

        • 思维链Chain-of-thought

        • 思维树Tree-of-thought

        • Prompt攻击与防范

        • 敏感信息及账号密码方面的安全

      • 实战项目一:基于提示工程的代码生成

阶段二:AI大模型API应用开发工程 

  • 学习目标:理解大模型并且能够进行基于大模型的应用开发

  • 内容

    • 理解Function Calling

      • OpenAI tools参数与function

      • 调研本地Function Calling

      • 远程Function Calling调用

      • Function Calling数据库查询

      • 支持Function Calling的国产模型

    • RAG与Embedding

      • 检索增强模型RAG

      • RAG系统基本搭建

      • 什么是Embedding

      • Embedding在LLM中的应用

      • 向量相似度欧式距离与余弦距离

      • OpenAI Embedding

    • 向量数据库

      • 向量数据库运用

      • 向量数据库服务

      • 主流向量数据库

      • Embedding与向量数据库结合

      • 精简讲概念

    • OpenAI GPTs与Assistant API

      • GPTs的使用与限制

      • Assistants API 应用场景

      • Assistants thread与messages

      • 基于Assistans做一个自己的GPT

      • GPT-4应用

    • 实战项目二:基于大模型的文档智能助手

    • 实战项目三:基于大模型的医学命名实体识别系统

阶段三:大模型应用架构进阶实践

  • 学习目标:对大模型进行初步精调,让大模型在某一个领域的任务表现可以商业

  • 内容

    • LangChain开发实践

      • LangChain VS Semantic Kernel

      • LangChain的核心组件

      • 模型I/O封装

      • Prompt模版封装

      • 数据库连接封装

      • Memory记忆封装

      • Chat models与LLMs

      • LangChain中RAG的实现

      • 实战项目四:智能论文审稿机器人

    • Agents智能体架构

      • Agents概述与应用场景

      • LangChain Agents的设计理念与原理

      • Agents关键技术分析

      • ReAct Framework

      • Agents的未来潜力

      • AutoGPT快速打造智能体

      • MetaGPT

        • MetaGPT项目定位与解决的问题

        • MetaGPT的技术方案分析

        • MetaGPT的各模块代码解读

      • 实战六:多智能体协同代码生成应用

    • 实战项目七:基于图片的智能信息检索问答

    • 实战项目八:无人数字人直播机器人客服

    • 实战项目九:基于Agents打造AI模拟面试机器人

阶段四:大模型微调与私有化部署 

  • 学习目标:让大模型根据我们自己的专业/行业的私有知识库,经过微调可以回答有质量的专业问题

  • 内容

    • 开源模型与私有化模型

      • 私有化部署的必要性

      • HuggingFace开源社区的使用

      • ChatGLM,Baichuan, LLaMA介绍

      • 私有化部署模型实战

    • 模型微调Fine-Tuning

      • 模型微调的意义

      • 大模型的训练阶段介绍

      • Pre-train: 基座的训练

      • SFT: 模型的调整

      • 对于GPT模型的微调

      • LoRA介绍

    • 实战:医疗领域智能医生私有模型

    • 开源大模型微调

      • ChatGLM3-6B模型介绍

      • ChatGLM3-6B模型微调

      • LLaMA-7B模型介绍

      • LLaMA-7B模型微调

      • Baichuan-7B模型介绍

      • Baichuan-7B模型微调

    • 多模态

      • 什么是多模态模型

      • 多模态的应用场景

      • 图像生成技术概述

      • DALLE-3与Midjourney

      • Stable Diffusion与ControlNet

      • 语音生成技术概述

      • 主流TTS技术剖析

      • 案例:MiniGPT-4与多模态问答

      • 案例:BLIP与文本描述生成

      • 案例:Video-LLaVA与多模态图像视频识别

    • 实战

      • 代码生成实战

总结:我眼中的IT行业现状与未来趋势

当前,IT行业在全球范围内都是一个快速发展的领域,它对经济发展、社会进步和人们生活方式的改变起着至关重要的作用。

现状方面,中国IT行业呈现出以下几个特点:

  1. 数字化转型加速:随着云计算、大数据、人工智能等技术的成熟和应用,中国各行业都在加速数字化转型,IT行业在提供技术支持和服务方面发挥着核心作用。

  2. 新技术不断创新:中国在5G、人工智能、区块链等新兴技术领域持续投入研发,力图在这些领域取得领先地位。

  3. 政策支持力度大:中国政府出台了一系列政策支持IT行业发展,如“互联网+”、“智能+”等行动计划,以及为科技创新企业提供税收优惠、资金支持等措施。

  4. 国际合作与竞争加剧:在全球产业链中,中国IT行业与国际先进水平的差距正在缩小,同时,国际竞争和合作也在不断加深。

未来趋势方面,可以预见:

  1. 技术创新驱动:未来IT行业将继续以技术创新为核心驱动力,特别是在人工智能、大数据、云计算、物联网等领域。

  2. 行业应用深化:IT技术将在智能制造、智慧城市、远程医疗、在线教育等行业应用中得到更深入的整合和应用。

  3. 信息安全重要性提升:随着数字化的深入,信息安全将成为越来越重要的议题,对加密技术、隐私保护、网络安全等方面的投入将持续增加。

  4. 可持续发展:随着全球气候变化和资源约束的挑战,IT行业将更加注重绿色发展,推动能源效率的提高和电子废弃物的减量化。

做好当下事,不念过往,不惧将来。

  • 35
    点赞
  • 35
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 12
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 12
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

程序员辣条

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值