多模态RAG深度解析：揭秘AI新技术

于 2024-08-15 11:14:19 发布
阅读量470 收藏 14
点赞数 13
文章标签： 人工智能 语言模型 ai agi RAG LLM 多模态
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/bugyinyin/article/details/141216854
版权

前言

多模态检索增强生成_（Multimodal Retrieval Augmented Generation，简称RAG）_是一种新兴的设计范式，允许AI模型与文本、图像、视频等多种信息存储接口进行交互。

在探讨这个主题时，我们首先会介绍什么是检索增强生成_（RAG）_，多模态的概念，以及如何将两者结合以构建现代多模态RAG系统。在理解了多模态RAG的基本概念后，我们将使用Google Gemini和一种类似CLIP的编码模型来构建一个多模态RAG系统。

检索增强生成简介

在介绍多模态RAG之前，我们先简单了解一下传统的检索增强生成 (RAG)。基本上，RAG的概念是找到与用户查询相关的信息，然后将这些信息注入到提示中并传递给语言模型。

RAG系统的基本原理是根据用户的查询检索相关信息，然后将这些信息与用户的查询结合_（称为增强）_后传递给语言模型。

RAG系统的检索通常是通过“嵌入”实现的。基本上，为了嵌入某些内容，我们使用高级AI模型将信息转换为代表该信息的向量。

嵌入的概念图，AI模型会提取一些文本序列并创建一个代表该文本序列的向量。

这个过程是通过一组参考文档以及用户的查询来完成的。可以计算这些向量之间的距离，文档与用户查询之间距离最小的被认为是最相关的。

检索的概念图。这里，事件列表被认为是最相关的，因为它与用户查询的距离最小。

一旦RAG系统检索到足够相关的信息，用户的查询和相关文档将用于构建一个增强提示，然后将其传递给语言模型进行生成。


"Answer the customers prompt based on the folowing context:
==== context: {document title} ====
{document content}

...

prompt: {prompt}"

这种通用系统通常预设整个知识库由可以传递给语言模型的文本组成，但许多知识来源不仅仅是文本。可能还有音频、视频、图像等。这就是多模态RAG的作用。

在讨论多模态RAG之前，让我们简要探讨一下多模态的概念。

多模态

在数据科学中，“模态”本质上是数据的一种类型。文本、图像、音频、视频、表格等都可以被视为不同的“模态”。长期以来，这些不同类型的数据被视为彼此分离，数据科学家需要为文本、视频等分别创建模型。近年来，这种概念逐渐消失，能够理解和处理多种模态的模型变得更加高效且易于访问。这些能够理解多种数据类型的模型通常被称为“多模态模型”。

多模态模型的概念通常围绕“联合嵌入”展开。基本上，联合嵌入是一种建模策略，迫使模型同时学习不同类型的数据。这个领域的标志性论文之一是CLIP，它创建了一个能够处理图像和文本任务的强大模型。

CLIP风格的模型使用复杂的训练过程使多个模型组件协同工作，以理解图像和文本。

自CLIP以来，各种建模策略已被创建，以某种方式对齐图像和文本。我介绍了这个领域的各种模型，但这些只是冰山一角。到处都有可以处理多种类型的数据新模型问世。

多模态和RAG的演变引发了AI的新趋势：在多模态中进行RAG。

多模态RAG

多模态RAG的概念是允许RAG系统以某种方式将多种形式的信息注入多模态模型中。因此，多模态 RAG 系统不仅可以根据用户提示检索文本片段，还可以检索文本、图像、视频和其他不同模态的数据。

多模态RAG的核心概念。它与普通RAG类似，但现在可以检索来自多种模态的信息并传递给语言模型。

目前有三种流行的方法可以实现多模态RAG。

方法一：共享向量空间

多模态RAG的一种方法是使用能够处理多种模态的嵌入_（类似于前面讨论的CLIP）_。基本上，你可以通过一组设计为相互协作的编码器传递数据，然后在所有模态中检索与用户查询最相似的数据。

使用多模态嵌入系统的多模态RAG，例如Google Vertex提供的编码器。这些编码器旨在协同工作，将来自不同模态的数据放置在同一个嵌入中。以更好地了解其实际应用。

方法二：单一基础模态

多模态RAG的另一种方法是将所有数据模态转换为单一模态，通常是文本。

使用基础模态的多模态RAG。所有模态在传递到单个编码器之前都会转换为单个模态。

我在一家公司工作，该公司在一个更大的产品中采用了这种策略_（我们称之为“多模态转换”）_。虽然这种策略在理论上存在信息在转换过程中丢失的风险，但实际上我们发现对于许多应用来说，这种方法以相对较小的复杂性实现了非常高质量的结果。

方法三：独立检索

第三种方法是使用一组旨在处理不同模态的模型。在这种情况下，你会在不同的模型上多次进行检索，然后结合它们的结果。

使用独立检索的多模态RAG。有多种方法可以将独立检索结果合并为一个用于增强和生成的检索结果。最简单的方法是将它们全部合并并传递给多模态模型。更常见的是使用一个“重新排序”模型或系统，设计用于根据与查询的相关性组织数据。我计划在未来的文章中介绍重新排序。

如果你希望能够构建和优化多种模型以适应不同的模态，或者你只是使用现有建模解决方案中不可用的模态，那么这将很有用。

在Google Vertex中实现多模态RAG

现在我们已经对多模态 RAG 有了大致的了解，让我们用一个简单的例子来实验一下。我们将对三部分信息进行检索：

  • 我用不佳的发音说“我最喜欢的竖琴家是Turlough O’Carolan”的音频文件

  • 包含Lorenz Attractor图片的图像

  • 维基百科文章《西线无战事》的摘录

使用这些数据，我们将构建一个简单的RAG系统来回答问题“谁是我最喜欢的竖琴家？”

完整代码可在此找到：

https://github.com/DanielWarfield1/MLWritingAndResearch/blob/main/MultimodalRAG.ipynb。

设置

首先让我们进行一些准备工作。我们将使用pydub来处理音频：

!pip install pydub

然后我们可以配置API密钥以使用Google Gemini。

import os
import google.generativeai as genai
from google.colab import userdata

os.environ["GOOGLE_API_KEY"] = userdata.get('GeminiAPIKey')
genai.configure(api_key=os.environ["GOOGLE_API_KEY"])

下载数据

我把所有文件都放在我的 GitHub repo 中，所以我们可以直接从那里下载。首先，我们可以从数据集中下载图像，并将其保存到文件系统以备后用。

import requests
from PIL import Image
from IPython.display import display
import os

# Loading image
url = 'https://github.com/DanielWarfield1/MLWritingAndResearch/blob/main/Assets/Multimodal/MMRAG/Lorenz_Ro28-200px.png?raw=true'
response = requests.get(url, stream=True)
image = Image.open(response.raw).convert('RGB')

# Save the image locally as JPG
save_path = 'image.jpg'
image.save(save_path, 'JPEG')
display(image)

然后我们可以下载音频文件：


from pydub import AudioSegment
import numpy as np
import io
import matplotlib.pyplot as plt
import wave
import requests

# Downloading audio file
url = "https://github.com/DanielWarfield1/MLWritingAndResearch/blob/main/Assets/Multimodal/MMRAG/audio.mp3?raw=true"
response = requests.get(url)
audio_data = io.BytesIO(response.content)

# Converting to wav and loading
audio_segment = AudioSegment.from_file(audio_data, format="mp3")

# Downsampling to 16000 Hz
 #(this is necessary because a future model requires it to be at 16000Hz)
sampling_rate = 16000
audio_segment = audio_segment.set_frame_rate(sampling_rate)

# Exporting the downsampled audio to a wav file in memory
wav_data = io.BytesIO()
audio_segment.export(wav_data, format="wav")
wav_data.seek(0)  # Back to beginning of IO for reading
wav_file = wave.open(wav_data, 'rb')

# converting the audio data to a numpy array
frames = wav_file.readframes(-1)
audio_waveform = np.frombuffer(frames, dtype=np.int16).astype(np.float32)

# Rendering audio waveform
plt.plot(audio_waveform)
plt.title("Audio Waveform")
plt.xlabel("Sample Index")
plt.ylabel("Amplitude")
plt.show()

最后是我们的维基百科文本摘录：


import requests

# URL of the text file
url = "https://github.com/DanielWarfield1/MLWritingAndResearch/blob/main/Assets/Multimodal/MMRAG/Wiki.txt?raw=true"
response = requests.get(url)
text_data = response.text

# truncating length for compatability with an encoder that accepts a small context
# a different encoder could be used which allows for larger context lengths
text_data = text_data[:300]

print(text_data)

现在，我们有了一个音频文件_（其中包含我说出我最喜欢的竖琴家是谁）_，以及一个图像和文本文件。

将音频转换为文本

可以找到支持音频、图像和文本的编码器，但它们比仅支持图像和文本的编码器要复杂一些。我计划写一篇关于Google Vertex的综合文章，测试这些不太常见的数据科学应用/模态的极限。为了简化我们的操作，现在我们将使用语音转文本模型将音频转为文本。


import torch
from transformers import Speech2TextProcessor, Speech2TextForConditionalGeneration

#the model that generates text based on speech audio
model = Speech2TextForConditionalGeneration.from_pretrained("facebook/s2t-medium-librispeech-asr")
#a processor that gets everything set up
processor = Speech2TextProcessor.from_pretrained("facebook/s2t-medium-librispeech-asr")

#passing through model
inputs = processor(audio_waveform, sampling_rate=sampling_rate, return_tensors="pt")
generated_ids = model.generate(inputs["input_features"], attention_mask=inputs["attention_mask"])

#turning model output into text
audio_transcription = processor.batch_decode(generated_ids, skip_special_tokens=True)[0]

audio_transcription

如你所见，语音转文本的翻译效果并不理想。Turlough O’Carolan 是17世纪的凯尔特竖琴家，我根本不知道怎么发音。我尝试了几次，因此转录结果非常荒谬。

嵌入

现在我们已经将音频转换为文本表示，可以使用CLIP风格模型对图像和文本进行编码。如果你不熟悉CLIP风格模型，它们是一种理解如何表示图像和文本，使得相似的事物具有相似向量的模型。我有一篇关于这个主题的文章：

CLIP，直观且详尽地解释：

https://towardsdatascience.com/clip-intuitively-and-exhaustively-explained-1d02c07dbf40

我们可以使用其中一种来编码我们的图像和文本。首先，让我们定义我们的查询：

query = 'who is my favorite harpist?'

然后让我们用 huggingface 的CLIP风格模型嵌入所有内容。

from transformers import CLIPProcessor, CLIPModel

# Load the model and processor
model = CLIPModel.from_pretrained("openai/clip-vit-base-patch32")
processor = CLIPProcessor.from_pretrained("openai/clip-vit-base-patch32")

# Encode the image
inputs = processor(images=image, return_tensors="pt")
image_embeddings = model.get_image_features(**inputs)

# Encode the text
inputs = processor(text=[query, audio_transcription, text_data], return_tensors="pt", padding=True)
text_embeddings = model.get_text_features(**inputs)

接下来，我们可以解包这些结果，获取文本、图像、音频和查询的编码，并计算数据与查询之间的差异。在这种情况下，我们将使用余弦相似度，它本质上是两个向量之间角度的度量。对于余弦相似度，如果两个向量指向相同的方向，它们的余弦相似度就很高。


import torch
from torch.nn.functional import cosine_similarity

# unpacking individual embeddings
image_embedding = image_embeddings[0]
query_embedding = text_embeddings[0]
audio_embedding = text_embeddings[1]
text_embedding = text_embeddings[2]

# Calculate cosine similarity
cos_sim_query_image = cosine_similarity(query_embedding.unsqueeze(0), image_embedding.unsqueeze(0)).item()
cos_sim_query_audio = cosine_similarity(query_embedding.unsqueeze(0), audio_embedding.unsqueeze(0)).item()
cos_sim_query_text = cosine_similarity(query_embedding.unsqueeze(0), text_embedding.unsqueeze(0)).item()

# Print the results
print(f"Cosine Similarity between query and image embedding: {cos_sim_query_image:.4f}")
print(f"Cosine Similarity between query and audio embedding: {cos_sim_query_audio:.4f}")
print(f"Cosine Similarity between query and text embedding: {cos_sim_query_text:.4f}")

在这里，我们可以看到，从音频转录得到的嵌入被认为是最相关的。

RAG（检索增强生成）

现在我们有了每个数据的嵌入，我们可以进行“检索增强生成”。

  1. 检索：找到与查询最相关的内容。

  2. 增强：将这些内容与查询一起放入语言模型的提示中。

  3. 生成：将其传递给语言模型生成答案。

在这个简化的示例中，我们可以使用一些if语句来实现这一点：


# putting all the similarities in a list
similarities = [cos_sim_query_image, cos_sim_query_audio, cos_sim_query_text]

result = None
if max(similarities) == cos_sim_query_image:
    #image most similar, augmenting with image
    model = genai.GenerativeModel('gemini-1.5-pro')
    result = model.generate_content([query, Image.open('image.jpeg')])

elif max(similarities) == cos_sim_query_audio:
    #audio most similar, augmenting with audio. Here I'm using the transcript
    #rather than the audio itself
    model = genai.GenerativeModel('gemini-1.5-pro')
    result = model.generate_content([query, 'audio transcript (may have inaccuracies): '+audio_transcription])

elif max(similarities) == cos_sim_query_text:
    #text most similar, augmenting with text
    model = genai.GenerativeModel('gemini-1.5-pro')
    result = model.generate_content([query, text_data])

print(result.text)

Gemini确实得为你爆料一下。

结论

虽然在这个快速变化的领域很难说任何事情，但似乎多模态RAG可能是即将到来的人工智能产品化浪潮中的一项关键技能。我认为可以公平地说，RAG作为一个整体，无论是多模式还是其他方式，都将随着技术的需求将技术水平推向新的高度，并且新的构建范式会变得更加容易接近。

在目前的多模态RAG中，我们触及了所有的重点：

  1. 我们简要探讨了RAG和多模态。

  2. 我们探讨了三种多模态RAG的方法：共享向量空间、单一基础模态和独立检索。

  3. 然后我们使用基础模态和共享向量空间方法的组合自己实现了一个简单的多模态RAG示例。

最后的最后

感谢你们的阅读和喜欢，我收藏了很多技术干货，可以共享给喜欢我文章的朋友们，如果你肯花时间沉下心去学习，它们一定能帮到你。

因为这个行业不同于其他行业，知识体系实在是过于庞大，知识更新也非常快。作为一个普通人，无法全部学完，所以我们在提升技术的时候，首先需要明确一个目标，然后制定好完整的计划，同时找到好的学习方法，这样才能更快的提升自己。

这份完整版的大模型 AI 学习资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】

大模型知识脑图

为了成为更好的 AI大模型 开发者，这里为大家提供了总的路线图。它的用处就在于，你可以按照上面的知识点去找对应的学习资源，保证自己学得较为全面。
在这里插入图片描述

经典书籍阅读

阅读AI大模型经典书籍可以帮助读者提高技术水平，开拓视野，掌握核心技术，提高解决问题的能力，同时也可以借鉴他人的经验。对于想要深入学习AI大模型开发的读者来说，阅读经典书籍是非常有必要的。

在这里插入图片描述

实战案例

光学理论是没用的，要学会跟着一起敲，要动手实操，才能将自己的所学运用到实际当中去，这时候可以搞点实战案例来学习。

在这里插入图片描述

面试资料

我们学习AI大模型必然是想找到高薪的工作，下面这些面试题都是总结当前最新、最热、最高频的面试题，并且每道题都有详细的答案，面试前刷完这套面试题资料，小小offer，不在话下

在这里插入图片描述

640套AI大模型报告合集

这套包含640份报告的合集，涵盖了AI大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师，还是对AI大模型感兴趣的爱好者，这套报告合集都将为您提供宝贵的信息和启示。

在这里插入图片描述

这份完整版的大模型 AI 学习资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】

bugyinyin
关注
  • 13
    点赞
  • 踩
  • 14
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
百篇论文博文导航AI工程之路：FT、KG、RAG与Agent技术全方位探索
丨汀、的博客
07-08 155
百篇论文博文导航AI工程之路：FT、KG、RAG与Agent技术全方位探索
关于AI Agent、RAG技术揭秘：如何让人工智能更懂你？
数智大号
04-11 561
其基本原理在于，当生成模型需要产生输出时，不是仅依赖于模型自身的知识和推理能力，而是通过信息检索系统从外部知识库中获取相关信息，以增强生成模型的输出结果。AI Agent不仅具备高度的自主性，能够根据环境变化和任务需求进行自我调整，还拥有强大的学习和推理能力，能够不断优化自身的行为和决策。由于知识库中的信息是有限的，因此当输入与知识库中的信息不匹配时，RAG技术的效果可能会受到影响。通过自然语言处理，AI Agent能够理解和解析用户的语言输入，提取出有用的信息和意图，并作出相应的响应。
深入解析Transformer：大模型核心技术揭秘
fengbeely的博客
06-22 1111
在大模型发展历程中，有两个比较重要点：第一，Transformer 架构。它是模型的底座，但 Transformer 不等于大模型，但大模型的架构可以基于 Transformer；第二，GPT。严格意义上讲，GPT 可能不算是一个模型，更像是一种预训练范式，它本身模型架构是基于 Transformer，但 GPT 引入了“预测下一个词”的任务，即不断通过前文内容预测下一个词。之后，在大量的数据上进行学习才达到大模型的效果。
从0到1，揭秘AI产品经理的高薪秘诀，转型之路与实战资源全解析
weixin_53880910的博客
06-18 1709
随着算法模型的日益精进、计算能力的显著提升以及海量数据的积累，人工智能领域正以前所未有的速度蓬勃发展。在国家政策的积极推动、社会资本的强劲注入下，人工智能产业正处于技术快速进步的黄金时期，其影响力广泛渗透至教育智能化、智慧城市构建、安防系统的智慧升级、物联网的智慧应用、医疗健康领域的智慧革新，以及智能家居生活等多个垂直板块，带动了对专业人才需求的急剧增长。据统计数据显示，AI产品经理相较于具有相同工作经验的传统产品经理，其薪资水平最高可达到1.59倍之多，凸显了该领域对顶尖人才的高度重视及激烈争夺。
打开 RAG 对接大模型的黑盒 —— 9 大隐藏问题_rag识别并纠正错误:这包括错别字、语法错误等
2401_85378759的博客
08-01 265
本篇提供了开发 RAG 通道 9 个痛点，并针对每个痛点都给了相应的解决思路。RAG 是非常重要的专用检索+通用大模型的技术手段，在赋能模型、满足特定化场景中非常重要！后续有机会，本瓜还会介绍相关内容，敬请期待。读者福利：如果大家对大模型感兴趣，这套大模型学习资料一定对你有用如果你是零基础小白，想快速入门大模型是可以考虑的。一方面是学习时间相对较短，学习内容更全面更集中。二方面是可以根据这些资料规划好学习计划和方向。
书单 | AI大模型的饕餮盛宴，系统学习大模型技术，你想要的书都在这里了
2401_84494441的博客
05-08 768
要说现在最热门的技术，可谓非大模型莫属！不少小伙伴都想要学习大模型技术，转战AI领域，以适应未来的大趋势，寻求更有前景的发展~~然而，在学习大模型技术这条道路上，却不知道如何进行系统的学习，所以本期书单就为大家奉献一场，从大模型理论基础到大模型工具应用，构建自己的LLM应用程序……应有尽有，如果你是AI小白，想要从入门开始学起，或者想要了解AI未来的发展趋势，也有相应的图书哦~~**▊《**张奇，桂韬，郑锐，黄萱菁 著解码大语言模型奥秘，引领机器智能新时代。
揭秘！天工AI如何帮我轻松搞定产品经理工作，低调强大
python122_的博客
06-03 793
聊到AI搜索，总会想起那句话：“领导者和追随者最大的区别在于创新”作为一名AI产品经理，我深刻体会到搜索引擎对我们日常生活的重要性，在本文中我将会分享我是如何使用图文并茂的天工AI搜索引擎辅助我完成产品经理的工作。从最初依赖书籍和资料，到互联网时代的Web搜索，再到如今的AI搜索，人们的搜索习惯和需求经历了翻天覆地的变化。近年来，业界不断传出消息，OpenAI即将推出其备受瞩目的搜索产品SearchGPT。
揭秘！天工AI如何帮我轻松搞定产品经理工作，低调强大！
python12345678_的博客
07-29 952
聊到AI搜索，总会想起那句话：“领导者和追随者最大的区别在于创新”作为一名AI产品经理，我深刻体会到搜索引擎对我们日常生活的重要性，在本文中我将会分享我是如何使用图文并茂的天工AI搜索引擎辅助我完成产品经理的工作。从最初依赖书籍和资料，到互联网时代的Web搜索，再到如今的AI搜索，人们的搜索习惯和需求经历了翻天覆地的变化。近年来，业界不断传出消息，OpenAI即将推出其备受瞩目的搜索产品SearchGPT。
Vanna-AI：让你的大模型说好SQL
m0_65555479的博客
05-30 1356
可能大家都想学习AI大模型技术，也想通过这项技能真正达到升职加薪，就业或是副业的目的，但是不知道该如何开始学习，因为网上的资料太多太杂乱了，如果不能系统的学习就相当于是白学。很明显，最大的区别不在于大模型的类型，而在于为大模型提供的上下文的类型（例如使用的训练数据）。• 能够完成时下热门大模型垂直领域模型训练能力，提高程序员的编码能力： 大模型应用开发需要掌握机器学习算法、深度学习框架等技术，这些技术的掌握可以提高程序员的编码能力和分析能力，让程序员更加熟练地编写高质量的代码。
人工智能行业专题报告：多模态AI研究框架
06-10
### 人工智能行业专题报告：多模态AI研究框架 #### 一、AI模型从单模态向多模态演进，未来有望实现认知智能 随着人工智能技术的发展，AI模型正逐步从处理单一类型的数据（如纯文本或纯图像）向能够处理多种不同...
人工智能-多模态检索-基于深度学习的影像学报告多模态检索
05-08
在当前的IT领域，人工智能（AI）已经成为了一个炙手可热的研究方向，而深度学习作为AI的一个重要分支，已经在诸多领域取得了显著成果。本项目聚焦于“基于深度学习的影像学报告多模态检索”，这涉及到如何利用深度...
《AI大模型应用》-《多模态大模型：新一代人工智能技术范式》 .zip
07-10
个人深耕AI大模型应用领域积累的成果，希望对您有所帮助。有大模型账号、环境问题、AI大模型技术应用落地方案等相关问题，欢迎详聊，能为您解决问题是我的荣幸！ 个人深耕AI大模型应用领域积累的成果，希望对您有所...
人工智能系列深度报告：AIGC行业综述篇-开启AI新篇章.pdf
03-30
《人工智能系列深度报告：AIGC行业综述篇——开启AI新篇章》 人工智能（AI）作为科技进步的重要驱动力，正在逐步迈入新发展阶段，走向通用人工智能（AGI）。AI的发展经历了规则导向、机器学习、深度学习和自主学习...
CPVR2022论文解析PPT：DeepFusion 多模态融合3D目标检测模型论文解析
05-02
《DeepFusion：多模态融合3D目标检测模型的深度理解》 在自动驾驶领域，3D目标检测是一项核心任务，它需要精确地识别并定位周围环境中的物体。多模态融合，即融合雷达和图像数据，能充分利用各自的优势，提高检测的...
C/C++开发，opencv内置背景减除算法与运动检测
技术需要分享
08-14 462
C/C++开发，opencv内置背景减除算法的完整代码及编译过程示例
数字图像处理（Matlab实践篇）专栏介绍
weixin_44063529的博客
08-14 400
数字图像处理（Matlab实践篇）”专栏是一个全面、系统的学习资源，它不仅提供了丰富的理论知识，更重要的是，通过实战案例和代码示例，使读者能够将所学知识应用于实际问题中。随着数字图像处理技术在各行各业的广泛应用，掌握这些技能无疑将为读者的职业生涯增添宝贵的资本。通过这个专栏的学习，读者将能够构建起自己的图像处理工作流，提升处理能力，为未来的技术挑战做好准备。
机器学习常用包numpy篇（零）前置知识·数值类型
最新发布
2301_79144343的博客
08-14 190
本文仅介绍numpy中的数值类型
Spark MLlib 特征工程(上)
08-14 733
特征选择的动机，在于提取与预测标的关联度更高的特征，从而精简模型尺寸、提升模型泛化能力。特征选择可以从两方面入手，业务出发的专家经验和基于数据的统计分析。归一化的目的，在于去掉不同特征之间量纲的影响，避免量纲不一致而导致的梯度下降震荡、模型收敛效率低下等问题。归一化的具体做法，是把不同特征都缩放到同一个值域。在这方面，Spark MLlib 提供了多种归一化方法供开发者选择。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值