- 博客(65)
- 资源 (2)
- 问答 (2)
- 收藏
- 关注
RSS订阅原创 【多模态】使用LLM生成html图表
画图工具调用，实现一些画图函数，LLM生成对应的参数来调用，这种方式需要实现丰富的图表函数直接输出画图的结果表示(html、mermaid等)，再存储为图片格式LLM输出取数画图的代码，执行代码得到图表结果。
2025-08-31 10:50:19
632
原创 【多模态】使用LLM生成code+E2B输出图表内容
画图工具调用，实现一些画图函数，LLM生成对应的参数来调用，这种方式需要实现丰富的图表函数直接输出画图的结果表示(html、mermaid等)，再存储为图片格式LLM输出取数画图的代码，执行代码得到图表结果。
2025-08-31 10:48:39
568
原创 【大模型LLM学习】Research Agent学习笔记
本文介绍了两种研究型智能体(Research Agent)的架构设计——Search-O1和MetaGPT的Researcher
2025-08-24 13:19:57
898
原创 【大模型LLM学习】Data Agent学习笔记
本文系统分析Data Agent的核心框架与实现方案，梳理四种主流Agent编排框架：ReAct的"思考-行动-观察"循环、Plan-and-execute的任务分解与调度、Reasoning Without Observations的单次计划生成及LLMCompiler的并行化技术。重点探讨ModelScope Data Agent的四模块设计（规划、执行、内存管理、调度），其Kaggle测试表现优异。各框架在任务分解、执行效率及结果确定性方面各具优势，为高效Data Agent开发提供关键技术参考。
2025-08-24 12:40:17
993
原创 【多模态】天池AFAC赛道四-智能体赋能的金融多模态报告自动化生成part2-报告输出
本文介绍了天池AFAC赛道四"智能体赋能的金融多模态报告自动化生成"任务的技术方案。该任务要求开发能自动生成三类金融研报（宏观经济/行业/公司）的智能Agent系统，需满足多模态呈现、专业性、数据融合等要求。文章重点分享了任务拆解模块和RAG模块的实现方法：通过简化任务拆解流程，将研究任务分解为不超过10个独立子任务；采用RAG技术从收集的数据中精确定位相关数据块。方案以生成公司研报为例，展示了从股票基本信息收集到最终风险提示的完整子任务拆解流程，以及如何构建和检索结构化数据块。该方案通
2025-07-27 12:51:53
2095
6
原创 【多模态】天池AFAC赛道四-智能体赋能的金融多模态报告自动化生成part1-数据获取
本文介绍了天池AFAC赛道四的任务要求，即开发一个能自动生成三类金融研报（宏观经济、行业、公司）的智能Agent系统。任务要求系统具备多模态输出、专业性、数据融合和格式规范等特点，并详细说明了三类研报的具体分析要求。文章还提供了数据处理框架和存储方法，以及从同花顺等平台获取公司基本信息和股价数据的技术方案。整体技术方案强调多Agent协同、泛化能力和创新技术应用，同时需遵守开源限制。
2025-07-27 12:44:05
1055
原创 【多模态】多模态模型的LLM端——qwen-1.0代码技术学习
现在的主流多模态模型都是ViT+merger+LLM的架构，之前一直把LLM模块当成一个黑盒，现在来从qwen1开始学习，记录学习过程～有一些非核心部分比如NTK、tokenizer、flash_attention之后再做了解。
2025-04-21 22:57:30
1020
原创 【多模态】多模态模型实践——swift3框架使用
swift3相比于swift2做了大升级，很多swift2能使用的在3里面error改改改…但是效率确实大升级，推理速度快了很多～～～
2024-12-21 14:32:49
2721
原创 【多模态】swift框架使用qwen2-vl
前几篇里面学习了常见的一些多模态模型的典型架构和源代码，上一篇里面测试使用了minicpm-v系列模型，在尝试RLHF的时候发现swift特别好用特别全，记录一下对swift的一些使用，欢迎批评指正～前一篇里面写了minicpm-v的使用方法，这里主要记录qwen2-vl的使用。
2024-12-14 22:42:09
3580
4
原创 【多模态】MiniCPM-V多模态大模型使用学习
前面学习了一些常见多模态模型的架构，现在开始学习使用minicpm-v-2.6模型，记录学习过程，欢迎批评指正～
2024-12-14 21:25:23
2327
原创 【多模态】Flamingo模型技术学习
最近多模态模型特别火，从头开始学习！在前面写的几篇里面学习了MiniCPM-V、ViT、CLIP和BLIP/BLIP-2之后，今天学习一下Flamingo模型，记录学习过程，欢迎批评指正，一起学习~~
2024-11-23 15:40:30
2006
原创 线上模型准确率估计——在没有标签的测试数据上估计模型准确率
本地训练、验证数据有标签，但是模型上线后新来的数据均无标签，如何估计线上模型的准确率？
2024-11-09 10:49:44
1506
原创 【多模态】BLIP-2模型技术学习
最近多模态模型特别火，从头开始学习！在前面写的几篇里面学习了MiniCPM-V、ViT、CLIP和BLIP之后，今天学习一下BLIP-2模型，记录学习过程，主要是模型架构、训练方式和相关源代码的理解。欢迎批评指正，一起学习~~
2024-11-09 09:25:32
2394
1
原创 【多模态】ViT模型技术学习
最近多模态模型特别火，一起从头学习ViT和Transformer！本文记录一下学习过程，所以是自上而下的写，从ViT拆到Transformer。
2024-10-10 23:31:23
4487
1
原创 推理阶段不同batch size对大模型推理结果的影响
大模型推理阶段，进行batch inference批处理推理解码，会有什么问题吗？batch inference推理的结果居然会和一条一条推理结果差的很远？！！!
2024-09-21 11:52:14
4919
1
原创 【多模态】多模态大模型MiniCPM-V技术学习
多模态大模型Minicpm-V-2.6参数8B，int4版本推理显存仅7GB，作为端侧大模型效果非常好，并且在幻觉数据集上效果优于其他模型，一起来学习为什么它这么强
2024-09-21 10:58:40
2228
2
原创 Fairness-aware Adversarial Perturbation Towards Bias Mitigation for Deployed Deep Models[论文笔记]
CVPR 2022，对抗样本能用来提升AI公平性
2022-03-11 09:28:14
3619
2
原创 windows下styleGAN2和styleGAN3编译配置bug
styleGAN2和styleGAN3在windows下报错踩坑解决
2022-03-08 21:18:27
6181
26
原创 Adversarial Visual Robustness by Causal Intervention论文笔记
Adversarial Visual Robustness by Causal Intervention论文阅读过程中的笔记
2021-12-11 15:23:09
1259
原创 机器学习公平性指标小结
文章目录前言一、Unawareness二、individual fairness三、group fairness1. disparate impact2. equal opportunity3. disparate mistreatment4. equal calibration总结前言 机器学习系统中，如果模型的表现或模型的预测结果与敏感属性(性别、肤色等)有统计上的关联，那么这个机器学习系统就可能是不公平的：(1) Timbru等人发现一些商业的性别分类API中，白人的准确率明显高于有色人种；(
2021-05-27 19:01:03
5652
5
零基础入门多模态学习PPT
2024-12-29
联邦学习之安全聚合SMPC.pptx
2020-02-15
如何使用LLVM在基本块的入口和出口插入代码？
2019-05-25
ubuntu16.04安装SElinux以后无法开机
2018-11-08
TA创建的收藏夹 TA关注的收藏夹
TA关注的人