大模型如何把企业的数据用起来

AI 2.0时代，大模型作为生产力工具和创意辅助工具，已经在很多消费与企业级场景落地应用，比如智能客服机器人、新闻报道生成、辅助代码开发等等。

对于企业内部数据资产的应用，大模型可以带来哪些改变呢？

我们已经看到， 大模型正在改变数据的处理模式，也在改变数据的交互模式。

在数据管理与应用领域，大模型可以极大地降低企业内部的数据消费门槛，有巨大的潜力可以探索。

1

如何用好非结构化数据

企业有大量文档、图片等非结构化数据，存储和处理成本高昂。

相比在各个信息系统中产生、存储和处理的关系型数据，非结构化数据的价值体现远远不足。这类数据的应用普遍较少，应用深度也不够。

值得欣喜的是，对于非结构化数据的处理和利用，大模型带来了颠覆性改变。比如，数据分类和标注、结构化数据提取、知识图谱构建。

我认为企业可以考虑投入应用了。

1. 数据分类和标注

我们使用BERT等自然语言处理（NLP）模型完成文本分类、情感分析、实体识别等任务。模型通过学习语言的结构和语义，能够理解文本内容并对其进行准确的分类和标注。

现在，GPT等大语言模型能够捕捉到丰富的语言特征，我们可以通过增量预训练和微调（fine-tuning），以及Prompt工程，来完成特定的文本分类任务。

多模态大模型的出现，提供了更丰富的数据理解和标注能力。我们可以用多模态大模型处理图像、音频、视频等非结构化数据，提取内在的文字含义，助力未来检索和进一步利用。

2. 结构化数据提取

大模型具备强大的文本理解与提取能力，可以从非结构化数据中提取关键信息和特征，如从文本中提取实体、关键词、主题等。

举个例子。

研究人员做行业研究，需要对互联网上的大量网页信息资料进行阅读、判断和处理，人工提取信息再录入到数据库，整个过程耗时耗力。

基于大模型的文本抽取、推理能力，以及few-shot、in-context learning等技术，我们可以对网页信息进行抓取、预处理和分析，提取所需的关键指标数据，输出为结构化数据表格，导入到原有的关系型数据库和信息系统。

这样，极大地提升了研究人员的工作效率。

3. 知识图谱构建

用大模型辅助构建知识图谱，是一个热门话题。

大模型可以通过实体识别和关系抽取，基于企业的大量知识文档，快速构建出结构化的知识网络，保存到Neo4j等图数据库中，便于后续的查询和利用。

企业用大模型的能力构建的知识图谱，反过来还能更好地推动垂直领域大模型在企业的应用。

例如，在检索增强生成RAG智能问答中，我们如果能借助知识图谱，可以更好地理解用户提问中的专业术语，给出更加专业和准确的回答。

2

如何用好现有数据库

企业积累了大量的数据，在传统的关系型数据库或数据仓库中。业务人员如果需要数据，一般需要通过IT部门提需求，通过应用开发或BI数据报表实现。

这个过程短则数天，长则数周、数月。

大模型可以辅助进行 自然语言数据查询和分析。实现的方式，主要是NL2SQL和ChatBI。

业务人员只要用自然语言和模型交互，即可获取所需的数据，以图表的形式展现。业务人员可以随即用在文档、报告中。

1. 自然语言查询 - NL2SQL

实现自然语言数据查询和分析，需要把用户的自然语言，转换为数据库可以理解的SQL语句，或者应用接口可以相应的API调用。

实现前者，需要采用NL2SQL（Text2SQL） 技术。目前，模型转换成SQL语句的准确度有了很大提升，尤其是单表查询的准确度已经可以实用。

在具体场景中，如果数据存放在结构清晰易于理解的一张大宽表中，那么可以使用NL2SQL模型，完全没有问题。

但是，现实情况是，企业内部有大量孤立的信息系统和数据库，存在数百甚至成千上万张表，库表结构不规范，跨表查询计算多。

在这种复杂环境下，直接使用NL2SQL技术，还很难达到预期的目标。

2. 对话式BI - ChatBI

传统BI软件在数据分析、可视化、权限管理等方面非常成熟。

基于原有BI软件的数据分析能力、大模型的自然语言理解能力，可以实现对话式BI产品，帮助业务人员通过自然语言对话，自助式获取准确的数据。

一些厂商基于原有的BI和数据分析能力，纷纷推出了自己的对话式BI产品。

比如，网易数帆基于自研大模型发布了ChatBI，在网易云音乐内部落地应用，主打四个特性：需求可理解、过程可验证、用户可干预和产品可运营。

总之，自然语言查询和分析是未来趋势，将极大地降低企业内数据消费的门槛，让普通用户能够以更直观、更自然的方式与数据进行交互，从而提高了数据分析的效率和可访问性。

3

如何用好现有知识库

最近，我测试了智能客服机器人，效果不错。

基于Dify、Coze等大模型PaaS服务，搭建这样的智能客服机器人已经非常容易，通过一些简单配置就可以生成并部署。

但是，要让客服机器人真正实用，重点要提供足够的相关知识。通过检索增强生成（RAG）技术，实现先检索到准确信息，再通过大模型生成回答，这种 “检索+生成” 的方法已经成为主流。

提供知识，这就需要上传Word、PDF等各种文档资料，比如：用户手册、操作手册、官方网页、常见问题Q&A、宣传资料等等。

在技术层面，我们根据段落结构和语义，提取这些文档资料中的文本内容，转换为向量，存储到向量数据库，并建立索引，形成向量知识库。

如果企业已经建设了知识管理系统，那么这套系统管理的知识数据又有了新用途。在此基础上，建设向量知识库就相对容易。否则，企业就需要首先搜集、梳理这些文档资料，并形成长效的管理机制，确保知识库的持续扩充和更新。

这个知识库，无论是对内对外提供智能问答，还是用于生成结构化的研究报告、汇报材料、解决方案等，都将极大地提升企业员工的效率。

4

给企业的两点建议

未来已来。

大模型等新兴技术可以帮助企业，更好地管理和利用非结构化数据，通过NL2SQL、ChatBI技术用好现有的SQL数据库，通过RAG检索增强生成技术用好现有的知识库。

如今，企业要构建新的竞争优势，无疑需要管好数据、用好数据。

我有两点建议。

第一，企业应系统化推进数据治理。

依托数据采集、汇聚、治理、分析的平台工具，积极开展包括非结构化数据在内的数据治理，统一数据标准，形成高质量数据资产和知识库，为数据的进一步使用做好准备。

第二，企业应重视创新技术的应用。

结合业务特点和需求场景，积极探索AI与大数据技术应用，敢于投入，孵化出有潜力、颠覆性的AI原生应用，提高生产效率、提升用户体验，构建企业的长期竞争优势。

读者福利：如果大家对大模型感兴趣，这套大模型学习资料一定对你有用

对于0基础小白入门：

如果你是零基础小白，想快速入门大模型是可以考虑的。

一方面是学习时间相对较短，学习内容更全面更集中。
二方面是可以根据这些资料规划好学习计划和方向。

包括：大模型学习线路汇总、学习阶段，大模型实战案例，大模型学习视频，人工智能、机器学习、大模型书籍PDF。带你从零基础系统性的学好大模型！

😝有需要的小伙伴，可以保存图片到wx扫描二v码免费领取【保证100%免费】🆓

👉AI大模型学习路线汇总👈

大模型学习路线图，整体分为7个大的阶段：（全套教程文末领取哈）

第一阶段： 从大模型系统设计入手，讲解大模型的主要方法；

第二阶段： 在通过大模型提示词工程从Prompts角度入手更好发挥模型的作用；

第三阶段： 大模型平台应用开发借助阿里云PAI平台构建电商领域虚拟试衣系统；

第四阶段： 大模型知识库应用开发以LangChain框架为例，构建物流行业咨询智能问答系统；

第五阶段： 大模型微调开发借助以大健康、新零售、新媒体领域构建适合当前领域大模型；

第六阶段： 以SD多模态大模型为主，搭建了文生图小程序案例；

第七阶段： 以大模型平台应用与开发为主，通过星火大模型，文心大模型等成熟大模型构建大模型行业应用。

👉大模型实战案例👈

光学理论是没用的，要学会跟着一起做，要动手实操，才能将自己的所学运用到实际当中去，这时候可以搞点实战案例来学习。

👉大模型视频和PDF合集👈

观看零基础学习书籍和视频，看书籍和视频学习是最快捷也是最有效果的方式，跟着视频中老师的思路，从基础到深入，还是很容易入门的。

👉学会后的收获：👈

• 基于大模型全栈工程实现（前端、后端、产品经理、设计、数据分析等），通过这门课可获得不同能力；

• 能够利用大模型解决相关实际项目需求： 大数据时代，越来越多的企业和机构需要处理海量数据，利用大模型技术可以更好地处理这些数据，提高数据分析和决策的准确性。因此，掌握大模型应用开发技能，可以让程序员更好地应对实际项目需求；

• 基于大模型和企业数据AI应用开发，实现大模型理论、掌握GPU算力、硬件、LangChain开发框架和项目实战技能， 学会Fine-tuning垂直训练大模型（数据准备、数据蒸馏、大模型部署）一站式掌握；

• 能够完成时下热门大模型垂直领域模型训练能力，提高程序员的编码能力： 大模型应用开发需要掌握机器学习算法、深度学习框架等技术，这些技术的掌握可以提高程序员的编码能力和分析能力，让程序员更加熟练地编写高质量的代码。

👉获取方式：

😝有需要的小伙伴，可以保存图片到wx扫描二v码免费领取【保证100%免费】🆓