大模型LLM在数据领域应用的探索

前言

随着以ChatGPT为代表的智能问答机器人的横空出世，大模型在各个行业和业务场景下的应用需求也随即爆发。大模型成为企业数据体系中不可或缺的一部分，为企业数字化、智能化的发展提供良好的机遇和动力。本文从以下四个方面介绍大模型在数据领域应用的思路：

• 利用Embedding优化语义检索

• 搭建领域知识库，提供私域问答

• Text2SQL代码生成，结果可视化

• 数据集探索性数据分析EDA

1. 利用Embedding优化语义检索

对于搜索问题，我们可以利用GPT模型做些什么优化呢？对于自研搜索功能，往往是基于ElasticSearch这个开源技术来实现，而ES底层的搜索原理则是先分词，然后再进行倒排索引。

试想一下场景，我们在使用数据地图或指标查询时，指标预存信息为“欠款金额”，而我们搜索的指标为“未还款金额”，虽然语义上很接近，但是ES的分词词典中并没有“未还款”，匹配不上，会导致我们搜索不到指标信息。为了提升搜索效果，通常会给ES配置同义词表，把预存的指标信息和开发、业务人员常使用的指标名称做同义词配置，提高查询效果。

而基于Embedding进行语义检索的过程大致如下：

1. 对预存指标信息生成语义向量（Embedding），存入向量数据库作为基准；

2. 将用户搜索指标信息向量化后，检索向量数据库；

3. 计算两者之间的向量距离（如余弦相似度距离），找出与用户搜索词最近的几个向量。

那最近的几个向量，其实就是语义和搜索词相似的，而并不一定需要相同的关键词。

2. 搭建领域知识库，提供私域问答

通常我们遇到以下场景会考虑搭建本地知识库：

1. 我们所需的行业知识比较专业，大模型不能确保准确、高效的提供；

2. 在利用大模型能力的过程中，我们内部的数据跟环境不能对外暴露，需完全可控，避免任何的数据隐私泄露以及安全风险。

该需求比较普遍，通常采用Embedding + 向量检索引擎 + LLM 的方式，处理过程流程如下：

处理的过程包括：

1. 先将原始文档中的文本内容全部提取出来。然后根据语义切块，切成多个chunk，可以理解为可以完整表达一段意思的文本段落。在这个过程中还可以额外做一些元数据抽取，敏感信息检测等行为。

2. 将这些Chunk都丢给embedding模型，来求取这些chunk的embedding。

3. 将embedding和原始chunk一起存入到向量数据库中。

问题提炼：这个部分是可选的，之所以存在是因为有些问题是需要依赖于上下文的。因为用户问的新问题可能没办法让LLM理解这个用户的意图。

向量检索：独立问题求取embedding这个功能会在text2vec模型中进行。在获得embedding之后就可以通过这个embedding来搜索已经事先存储在向量数据库中的数据。

推理求解：在获得最相关的知识之后，我们就可以让LLM基于最相关的知识和独立问题来进行求解推理，得到最终的答案。

3. Text2SQL代码生成，结果可视化

大模型可以根据自然语言输入快速生成SQL代码片段，并通过可视化的方式展示结果，从而协助数据人员的日常工作。这减少了编写复杂查询所花费的时间，因此可以投入更多时间来理解业务和分析查询结果，以此从数据结果中获取决策支持。

可以通过大模型创建一个 SQL 查询来获取一组特定的数据，例如：“显示 2022 年每月的平均收入。”

大模型可以将其转换为 SQL 查询，如下：

SELECT AVG(revenue) AS average_revenue, MONTH(date) AS month``FROM sales``WHERE YEAR(date) = 2022``GROUP BY MONTH(date);

集成可视化功能后的效果图如下：

4. 数据集探索性数据分析EDA

数据分析师在分析之前往往需要花费大量时间准备和清理数据。利用大模型可以提供数据预处理技术，如处理缺失值、处理异常值、变量相关性分析以及解决用户数据质量问题的建议。通过数据预处理建议，有助于简化数据准备过程，并确保分析质量。该能力属于大模型的通用基础能力。

总结

本文简要介绍了大模型LLM在数据领域应用的思路，具体方案会在后续专题中逐步展开。大模型的快速发展为企业数据体系带来了新机遇，企业思考在数据治理、数据安全、数据整合、数据分析与挖掘以及业务应用等方面，通过大模型应用来提高生产力。随着OpenAI开发者大会召开，ChatGPT使用成本也逐步降低，并且国产大模型百花齐放，模型效果逐渐提高，将助力大模型应用在各行各业中大放异彩。

读者福利：如果大家对大模型感兴趣，这套大模型学习资料一定对你有用

对于0基础小白入门：

如果你是零基础小白，想快速入门大模型是可以考虑的。

一方面是学习时间相对较短，学习内容更全面更集中。
二方面是可以根据这些资料规划好学习计划和方向。

包括：大模型学习线路汇总、学习阶段，大模型实战案例，大模型学习视频，人工智能、机器学习、大模型书籍PDF。带你从零基础系统性的学好大模型！

😝有需要的小伙伴，可以保存图片到wx扫描二v码免费领取【保证100%免费】🆓

👉AI大模型学习路线汇总👈

大模型学习路线图，整体分为7个大的阶段：（全套教程文末领取哈）

第一阶段： 从大模型系统设计入手，讲解大模型的主要方法；

第二阶段： 在通过大模型提示词工程从Prompts角度入手更好发挥模型的作用；

第三阶段： 大模型平台应用开发借助阿里云PAI平台构建电商领域虚拟试衣系统；

第四阶段： 大模型知识库应用开发以LangChain框架为例，构建物流行业咨询智能问答系统；

第五阶段： 大模型微调开发借助以大健康、新零售、新媒体领域构建适合当前领域大模型；

第六阶段： 以SD多模态大模型为主，搭建了文生图小程序案例；

第七阶段： 以大模型平台应用与开发为主，通过星火大模型，文心大模型等成熟大模型构建大模型行业应用。

👉大模型实战案例👈

光学理论是没用的，要学会跟着一起做，要动手实操，才能将自己的所学运用到实际当中去，这时候可以搞点实战案例来学习。

👉大模型视频和PDF合集👈

观看零基础学习书籍和视频，看书籍和视频学习是最快捷也是最有效果的方式，跟着视频中老师的思路，从基础到深入，还是很容易入门的。

👉学会后的收获：👈

• 基于大模型全栈工程实现（前端、后端、产品经理、设计、数据分析等），通过这门课可获得不同能力；

• 能够利用大模型解决相关实际项目需求： 大数据时代，越来越多的企业和机构需要处理海量数据，利用大模型技术可以更好地处理这些数据，提高数据分析和决策的准确性。因此，掌握大模型应用开发技能，可以让程序员更好地应对实际项目需求；

• 基于大模型和企业数据AI应用开发，实现大模型理论、掌握GPU算力、硬件、LangChain开发框架和项目实战技能， 学会Fine-tuning垂直训练大模型（数据准备、数据蒸馏、大模型部署）一站式掌握；

• 能够完成时下热门大模型垂直领域模型训练能力，提高程序员的编码能力： 大模型应用开发需要掌握机器学习算法、深度学习框架等技术，这些技术的掌握可以提高程序员的编码能力和分析能力，让程序员更加熟练地编写高质量的代码。

👉获取方式：

😝有需要的小伙伴，可以保存图片到wx扫描二v码免费领取【保证100%免费】🆓