2022011-跨模态实践 Task01 环境准备

最新推荐文章于 2024-09-12 14:57:59 发布
最新推荐文章于 2024-09-12 14:57:59 发布
阅读量167 收藏
点赞数
分类专栏： VCED 文章标签： rust python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/wwb19422012/article/details/127854952
版权
该笔记记录了DataWhale组织11月的跨模态实践课程，主要涉及CLIP和Jina的安装与配置。在WSL2环境下，首先安装rust和ffmpeg，然后通过pip安装CLIP的源代码。接着，安装Jina并进入docs目录，安装所有必需的依赖，并通过make html进行文档编译。最后，访问生成的html文件，完成环境设置。
摘要由CSDN通过智能技术生成

本笔记为DataWhale 11月跨模态实践课程的学习内容，链接为：
https://github.com/datawhalechina/vced/blob/main/README.md

一、环境：
操作系统：
在这里插入图片描述

机器配置：
在这里插入图片描述

安装环境 ：WSL 2

二、操作步骤

  1. 安装 rust, ffmpeg

  2. 安装 clip pip install git+https://github.com/openai/CLIP.git
    在这里插入图片描述

  3. 安装Jina
    在这里插入图片描述

  4. 进入 docs 文件夹

  • 安装相关依赖：pip install -r requirements.txt
    在这里插入图片描述

  • 编译： make html
    在这里插入图片描述

  • 访问html
    在这里插入图片描述

准备工作完成。

MickWang1942
关注
专栏目录
2022011-跨模态实践 Task02 Jina 生态
不向静中参妙理，纵然颖悟也虚浮
11-16 224
Jina生态基础操作
跨模态实践【Task 01: 课程环境准备】
qq_39668239的博客
01-16 206
跨模态实践【Task 01: 课程环境准备】，安装步骤
Datawhale AI夏令营-多模态大模型数据合成Task1 学习笔记
IshmaelChen的博客
08-13 682
由于云终端的限制，shell的信息到了一定程度后会自动清理，因此两个shell脚本一定是要时刻关注的！同时，由于研究download.sh时没有注意到第一行对于环境变量的设定，导致我误下了一整份官方数据集到工作区 /mnt/workspace之外了，希望阿里云会自己清理掉。最后统计，100G的存储空间我一共花了98G，要想训练顺利，必须要扩容了。同时为了确保所有人最基础的命令不会缺失，索性在创建虚拟环境并进入后将所有需要的工具命令一并输入。apt update。
L2-InternVL 多模态模型部署微调实践
Finnwestbrook的博客
08-27 917
InternVL 是一种用于多模态任务的深度学习模型，旨在处理和理解多种类型的数据输入，如图像和文本。它结合了视觉和语言模型，能够执行复杂的跨模态任务，比如图文匹配、图像描述生成等。与 qlora 微调的一个很大区别在于内存占用，采用了量化策略的 qlora内存占用更低（memory：22947（qlora）-25286（lora））；第二个区别是 lora 微调的情况下，loss会更低一点。两个文件的主要区别如下，qlora 使用了量化策略。查看回复，回答并不满足我们的预期，需要微调。
【跨模态】神经搜索实践：Jina VCED
weixin_42322991的博客
11-14 659
Jina 跨模态
进阶岛--InternVL 微调实践
nightcat's Blog
08-30 718
InternVL 是一种用于多模态任务的深度学习模型，旨在处理和理解多种类型的数据输入，如图像和文本。它结合了视觉和语言模型，能够执行复杂的跨模态任务，比如图文匹配、图像描述生成等。跟着 https://github.com/InternLM/Tutorial/blob/camp3/docs/L2/InternVL/joke_readme.md 教程，写的相当详细，这里只概述下流程。如下图，对于InternVL这个模型来说，它vision模块就是一个微调过的ViT，llm模块是一个InternLM的模型。
《书生大模型实战营第3期》进阶岛 第4关： InternVL 多模态模型部署微调实践
shiter编写程序的艺术
08-18 716
InternVL 是一种用于多模态任务的深度学习模型，旨在处理和理解多种类型的数据输入，如图像和文本。它结合了视觉和语言模型，能够执行复杂的跨模态任务，比如图文匹配、图像描述生成等。通过整合视觉特征和语言信息，InternVL 可以在多模态领域取得更好的表现。
InternLM2_PracticalCamp_L2_task4_InternVL 多模态模型部署微调实践
spring5的博客
08-22 673
InternVL 是一种用于多模态任务的深度学习模型，旨在处理和理解多种类型的数据输入，如图像和文本。它结合了视觉和语言模型，能够执行复杂的跨模态任务，比如图文匹配、图像描述生成等。通过整合视觉特征和语言信息，InternVL 可以在多模态领域取得更好的表现。
InternVL 多模态模型部署微调实践
m0_65719612的博客
09-01 1075
InternVL 是一种用于多模态任务的深度学习模型，旨在处理和理解多种类型的数据输入，如图像和文本。它结合了视觉和语言模型，能够执行复杂的跨模态任务，比如图文匹配、图像描述生成等。通过整合视觉特征和语言信息，InternVL 可以在多模态领域取得更好的表现。
多模态大模型：技术原理与实战 全球多模态大模型介绍
程序员光剑
06-11 597
关键词：多模态大模型、深度学习、计算机视觉、自然语言处理、跨模态学习、迁移学习、人工智能随着人工智能技术的飞速发展，多模态大模型已经成为了当前AI领域最热门的研究方向之一。多模态大模型能够同时处理和理解多种类型的数据，如文本、图像、音频和视频等，这为AI系统在复杂场景下的应用提供了更加强大和灵活的能力。本文将深入探讨多模态大模型的技术原理，介绍其实战应用，并对全球主要的多模态大模型进行全面的介绍和比较。
多模态大模型：技术原理与实战 多模态大模型的主要应用场景
程序员光剑
05-19 726
随着人工智能技术的快速发展，多模态大模型已经成为了当前AI领域最热门的研究方向之一。这些模型能够同时处理和理解多种数据类型，如文本、图像、音频和视频，从而实现更加全面和智能的信息处理能力。多模态大模型的出现不仅推动了人工智能技术的进步，也为各行各业带来了革命性的变革。在本文中，我们将深入探讨多模态大模型的技术原理，并重点关注其主要应用场景。我们将从理论到实践，全面解析这一前沿技术，帮助读者更好地理解和应用多模态大模型。表示学习：学习不同模态数据的统一表示。注意力机制：捕捉不同模态之间的关键信息。
【AI大模型企业级应用开发实战】企业级应用集成AI大模型的架构，包括大模型概述、集成实践、技术架构设计及应用场景《AI大模型应用架构（ALLMA）白皮书》
程序员光剑
06-30 9207
随着大模型浪潮的兴起，生产力将发生质的变化，从而引发生产力和生产关系的重塑。随着模型能力的提升和使用成本的降低，基于大模型构建应用将成为主流趋势。然而，应用层能否与大模型高效交互，将成为产品方案探索效率和效果的关键因素。因此，在模型之上的工程架构中，必须构建一套完整的大模型交互管道（Interface），将应用层（Application） 和模型层（Model）进行串联，为诸如Prompt Engineering、Fine-Tuning和模型评估等关键环节提供全面支持，以实现产品方案探索的降本增效 ....
大语言模型原理与工程实践：大语言模型的涌现能力
程序员光剑
07-30 395
大语言模型（Large Language Models，LLMs）作为人工智能领域的一项重大突破，正在revolutionarize我们与计算机交互的方式。自从2018年BERT模型的出现，到2020年GPT-3的发布，再到最近的ChatGPT和GPT-4，大语言模型展现出了令人惊叹的能力。其中最引人注目的莫过于所谓的"涌现能力"（Emergent Abilities）。这种能力使得模型不仅能够完成它们被明确训练的任务，还能够展现出一些看似超出其训练范围的能力。
【LangChain编程：从入门到实践】生态系统概览
程序员光剑
08-24 728
近年来，大型语言模型（LLM）的快速发展彻底改变了人工智能领域。从GPT-3到ChatGPT，LLM展现出惊人的能力，能够理解和生成人类级别的文本，并在各种任务中取得了突破性进展。然而，将这些强大的LLM应用于实际应用场景仍然面临着挑战。LangChain应运而生，它是一个强大的框架，旨在简化LLM应用的开发流程。LangChain提供了一套模块化和可扩展的组件，帮助开发者轻松构建基于LLM的应用程序。加载LLM模型: 选择合适的LLM模型，并使用LangChain提供的API进行加载。准备知识库。
Rocket: 从零开始构建Rust Web服务
hello.reader
09-08 1161
作为一个现代化的Web框架，Rocket以其类型安全性、简洁的API和卓越的性能脱颖而出。无论你是想构建一个简单的静态网站，还是复杂的RESTful API，Rocket都能胜任。通过构建一个简单的用户管理API，我们体验了Rocket的路由、数据处理、中间件以及数据库集成。现在，让我们综合这些知识，构建一个简单的用户管理API，实现用户的创建和查询功能。中间件记录了每个请求的处理时间，并将其作为HTTP响应头的一部分返回给客户端，使得开发者可以轻松监控和优化应用的性能。
Rust 所有权 借用与引用
最新发布
HHX_01的博客
09-12 969
Rust的所有权、引用和借用机制提供了一种强大而安全的内存管理方式。通过这些机制，Rust能够在编译时避免许多常见的内存错误，如悬垂引用和数据竞争。尽管这些规则可能在开始时显得复杂，但它们为你提供了一个强大的工具集来编写安全、并发的代码。Rust的所有权系统是其安全性和性能的核心，它通过一套严格的规则来管理内存使用，防止数据竞争和悬垂引用。本文将详细探讨Rust中的引用、借用及其规则，并讨论如何利用这些特性来编写健壮的代码。借用是Rust中的一个重要概念，它允许函数在不获取所有权的情况下使用值。
Rust 程序设计语言学习——面向对象
洪伟的专栏
09-10 1198
面向对象编程（Object-Oriented Programming，OOP）是一种对程序进行建模方式。对象（Object）作为一个编程概念来源于 20 世纪 60 年代的 Simula 编程语言。这些对象影响了 Alan Kay 的编程架构，该架构中对象之间互相传递消息。他在 1967 年创造了面向对象编程 （object-oriented programming）这个术语。关于 OOP 是什么有很多相互矛盾的定义；在一些定义下，Rust 是面向对象的；在其他定义下，Rust 不是。
Apache DataFusion查询引擎简介
HULK一线技术杂谈
09-09 864
01简介DataFusion是一个查询引擎，其本身不具备存储数据的能力。正因为不依赖底层存储的格式，使其成为了一个灵活可扩展的查询引擎。它原生支持了查询CSV，Parquet，Avro，Json等存储格式，也支持了本地，AWS S3，Azure Blob Storage，Google Cloud Storage等多种数据源。同时还提供了丰富的扩展接口，可以方便的让我们接入自定义的数据格式和数据源。...
vmd---变分模态分解matlab
07-28
"extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^insertT0,239^v3^insert_chatgpt"}} ] [....
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值