- 博客(47)
- 收藏
- 关注
RSS订阅原创 #Datawhale 组队学习#8月-工作流自动化n8n入门-3
本文介绍了n8n工作流平台的高阶功能，主要包括子工作流和AI相关应用。在子工作流部分，讲解了如何通过ExecuteWorkflow节点调用子工作流，以及使用ErrorTrigger节点进行错误处理。AI应用方面，详细说明了集群节点（Cluster nodes）的Chain和Agent类型区别，记忆功能在聊天机器人中的作用，RAG技术实现时需要注意的容器网络配置问题，以及如何为AI Agent配置工具扩展能力。文章还提及了MCP协议作为AI应用的标准化接口，并提供了完整的配置示例和常见问题解决方案。
2025-08-31 17:08:39
1058
原创 #Datawhale 组队学习#8月-工作流自动化n8n入门-2
文章摘要： 本文介绍了n8n平台的基本概念与基础节点。首先说明n8n的工作流创建方法，包括手动创建和URL导入两种方式。重点讲解了n8n的核心组件——节点，分为触发器节点（Trigger）和动作节点（Action）。详细介绍了四种触发器节点：手动触发、定时触发、Webhook触发和聊天触发。此外，还介绍了数据处理节点、控制流节点和HTTP请求节点等核心节点，以及n8n中的代码功能，包括表达式和Code节点的使用。文章为n8n初学者提供了全面的基础概念和操作指南。
2025-08-22 21:45:14
1128
原创 #Datawhale 组队学习#8月-工作流自动化n8n入门-1
本文介绍了Datawhale组队学习关于工作流自动化工具n8n的入门内容。n8n是一个开源的模块化自动化工具，通过可视化拖放界面构建工作流，具有可扩展性和数据流处理能力，适用于多种自动化场景。文章详细对比了n8n与dify、coze等工具在功能特性、易用性、扩展性等方面的差异，并介绍了n8n的多种部署方式，包括官方SaaS服务、本地PC部署、云主机部署等。其中重点说明了本地PC通过Docker部署n8n的具体步骤，包括创建存储卷和启动服务的命令，最终可通过浏览器访问本地端口使用n8n服务。
2025-08-18 14:32:41
665
原创 #Datawhale AI夏令营#第三期全球AI攻防挑战赛（AIGC技术-图像方向）
本文介绍了2025全球AI攻防挑战赛图像生成赛道的赛题背景和基线方案。该赛事由中国图象图形学学会等机构联合主办，聚焦AI生成内容的安全检测，设置了AIGC生成、图片编辑、文本编辑和Deepfake四个子任务。文章详细讲解了各任务的技术方案：使用CogView4-6B模型完成文本生成图片，采用FLUX.1-Kontext-dev处理图片编辑任务，以及基于OpenCV+dlib实现人脸替换。基线方案总分为6.1485分，其中Deepfake任务得分最低（0.6998分），提升空间最大。文章最后建议从模型选择、参
2025-08-10 21:38:20
747
1
原创 #Datawhale 组队学习#7月-强化学习Task6
本文介绍了三种强化学习算法及其核心思想与实现细节。DDPG算法通过确定性策略梯度处理连续动作空间，结合目标网络和经验回放提升稳定性。PPO算法利用重要性采样和裁剪机制平衡探索与利用，在策略更新中保持稳定性。SAC算法基于最大熵框架，通过自动调节温度因子实现高效探索。文章详细分析了各算法的优缺点、关键技术及实现要点，包括DDPG的OU噪声处理、PPO的GAE优化、SAC的双Q网络设计等，并提供了完整的代码实现框架。三种算法各具特色：DDPG适合连续控制，PPO稳定性强，SAC探索效率高，为不同场景下的强化学习
2025-07-31 20:49:45
728
原创 #Datawhale 组队学习#强化学习Task5
本文系统介绍了强化学习中的策略梯度算法及Actor-Critic方法。策略梯度算法直接优化策略函数，解决了基于价值算法在连续动作空间和高维问题中的局限性，但存在采样效率低、高方差等问题。REINFORCE作为蒙特卡洛策略梯度算法，通过完整轨迹采样进行更新。Actor-Critic框架结合策略梯度和价值函数，A2C/A3C算法引入优势函数降低方差，GAE方法实现偏差-方差平衡。文章对比了不同算法的工程特性，提供了超参数设置建议和代码实现，并解答了常见问题，为实践应用提供了系统指导。
2025-07-28 15:53:18
898
原创 “Datawhale AI夏令营”「结构化数据的用户意图理解和知识问答挑战赛」1
本篇文章是Datawhale AI夏令营2025年第2期的内容，大模型技术方向，科大讯飞「
2025-07-26 22:31:52
541
原创 #Datawhale 组队学习#强化学习Task4
本文介绍了深度Q网络(DQN)算法的核心原理及其进阶改进方法。主要内容包括：1. DQN基础算法，通过神经网络近似Q函数，引入经验回放和目标网络解决数据相关性和训练稳定性问题。2. DQN的改进算法：Double DQN解决Q值过估计问题，Dueling DQN分离状态价值和动作优势，Noisy DQN实现参数扰动探索，PER DQN采用优先级采样经验回放，C51算法学习回报分布。3. Rainbow DQN整合了六大改进方法，在Atari游戏上实现了SOTA性能。文章还提供了PyTorch实现的完整代码框
2025-07-25 09:41:36
627
原创 #Datawhale组队学习#7月-强化学习Task2
强化学习Task2内容聚焦免模型预测与控制方法。免模型预测部分对比了有模型与免模型算法的差异，介绍了蒙特卡洛估计和时序差分估计两种重要方法及其比较。免模型控制部分详细讲解了Q-learning和Sarsa算法，分析了两者在策略类型、更新目标等方面的区别，并探讨了同策略与异策略的特点。通过悬崖行走环境的实战案例，演示了Q-learning算法的具体实现。文章还解答了关于Q值过估计、探索策略必要性等关键问题，为深入理解强化学习算法提供了系统指导。
2025-07-19 21:37:54
873
原创 “Datawhale AI夏令营”基于带货视频评论的用户洞察挑战赛2
商品识别：96.92分，这个大概就是63/65的水平，总的测试集65个，正确63个，错误2个。值得一提的是：这个我是完全基于传统机器学习来做的，使用TF-IDF来向量化的，主要起作用的还是特征工程，只要特征工程做的好，那么不使用大模型，也是完全可以达到SOTA水平的，后面再仔细调一调，看看能不能冲击商品识别满分。聚类任务，还没开始考虑，baseline也就是50分的水平，这一块貌似提升空间不大，因为大家普遍就是50多分的水平，可能和评测指标有关，当然赛事结束还早，也许后面这个任务会有突破。
2025-07-16 22:44:26
303
原创 #Datawhale组队学习#7月-强化学习Task1
《强化学习入门202507》学习摘要 本文介绍了强化学习的基础理论与应用框架。强化学习通过智能体与环境的交互学习最优决策策略，其核心是马尔可夫决策过程(MDP)，包含状态空间、动作空间、状态转移函数和奖励函数等要素。动态规划方法如策略迭代和价值迭代用于求解MDP，基于贝尔曼方程实现状态价值函数与动作价值函数的迭代优化。强化学习在游戏AI、机器人控制、自动驾驶等领域有广泛应用。学习需具备概率论、Python编程等基础，建议从经典算法入手配合OpenAI Gym等工具实践。文章还对比了策略迭代与价值迭代的收敛特
2025-07-16 17:49:39
978
原创 “Datawhale AI夏令营”基于带货视频评论的用户洞察挑战赛
摘要：本文介绍了DatawhaleAI夏令营2025年"基于带货视频评论的用户洞察挑战赛"的参赛指南。赛事要求完成商品识别、情感分析和评论聚类三项任务，利用85条带货视频和6477条评论数据，通过TF-IDF向量化和机器学习模型（SGD分类器、KMeans聚类）进行多维度分析。评估指标包括精确匹配、F1分数和轮廓系数，总分300分。文章详细解析了基线方案实现流程，涵盖数据预处理、文本分类、情感倾向判断和主题聚类等关键技术点，为参赛者提供了实用的解题思路和代码实现参考。
2025-07-10 22:47:51
1417
原创 Windows系统下WSL从C盘迁移方案
原因：一开始装WSL的时候放在了C盘，这下好了，跑了几个深度学习模型训练后，C盘快满了，这可怎么办？可愁坏了。没关系，山人自有妙计。我们将WSL迁移到D盘或者E盘呀。
2025-07-04 22:42:56
1610
原创 【书生大模型实战营】玩转HF/魔搭/魔乐社区-L0G4000
Hugging Face 是一个专注于自然语言处理（NLP）和机器学习领域的开源平台，也是全球最大的 AI 社区之一。作为 NLP 领域的领军者，Hugging Face 不仅提供了丰富的预训练模型、高质量的数据集以及强大的开发工具，还始终致力于推动 AI 技术的民主化，让每个人都能轻松获取并使用最先进的 AI 技术。Hugging Face 的起源可以追溯到 2016 年，最初是一家专注于聊天机器人应用的初创公司。然而，随着开源库。
2025-02-23 21:36:52
907
原创 我的创作纪念日-256天
过完年要准备上班了，希望工作顺利。后来开始转岗AI，从头开始学习CS，学习人工智能，学习编程，也关注了一些了博主，看了一些博主的经历，就开始记录自己的学习过程，记录自己的思考，希望自己有很多的活人粉丝，非僵尸粉。开源是一种奉献，自己在学习的过程中，接受了很多大佬的奉献，那同样也希望为开源社区奉献自己的一份力量，一个人可以走得很快，但一群人能够走得更远。
2025-01-20 19:08:50
216
原创 【书生大模型实战营】Python 基础知识-L0G2000
本文是书生大模型实战营系列的第2篇文章，是入门岛的第二个任务，主题为：Python基础知识。
2024-12-06 22:28:40
712
原创 从零入门AI篡改图片检测（金融场景）#Datawhale十月组队学习
本次比赛包含攻防两大赛道，分别聚焦大模型自身安全和大模型生成内容的防伪检测，涉及信用成长、凭证审核、商家入驻、智能助理等多个业务场景，覆盖机器学习、图像处理与计算机视觉、数据处理等多个算法领域，旨在聚合行业及学界力量共同守护AI及大模型的安全，共同推动AI安全可信技术的发展。感觉这种比赛越来越卷，数据越来越大，对机器的要求越来越高，那么这里面应该是有很多算法工程化的小技巧的，应该是有很多优化的tricks的，这些需要通过不断的实践来提高、积累。这里面其实还是存在一些问题的，我查看训练集标签发现的。
2024-10-15 11:20:29
1160
原创 手搓一个Eval#Datawhale组队学习大模型任务Task4
Hugging Face 是一个非常流行的开源社区，专注于自然语言处理（NLP）任务，尤其是基于 Transformer 架构的深度学习模型。它提供了一系列工具和服务，包括模型库、数据集库以及社区支持等。通常是指用于评估大型语言模型性能的工具或平台。这些系统旨在衡量模型在不同任务上的表现，包括但不限于自然语言处理（NLP）任务，如文本生成、问答、翻译等。uning，用于实现和管理微调（fine-tuning）预训练语言模型的方法。关于评价指标，精确率（查准），召回率（查全），F1分数。
2024-10-01 22:42:39
788
原创 手搓一个Agent#Datawhale 组队学习Task3
书接上回，首先回顾一下Task2的一些补充：Task2主要任务是从零预训练一个tiny-llama模型，熟悉一下Llama的模型架构和流程。然后测试一下模型的效果。总的来说，因为某些未知的原因，loss一直没有降下去，导致最终效果一般般。
2024-09-27 22:37:30
923
原创 从零预训练一个tiny-llama#Datawhale组队学习Task2
Q：什么是Flash Attention？A：Flash Attention 是一种用于加速Transformer模型中自注意力（self-attention）机制的优化技术。传统自注意力机制的时间复杂度和内存消耗均为 O(N2)，其中 N是序列长度。Flash Attention 通过优化注意力计算的方式，能够在保持计算精度的同时显著降低计算成本，特别是内存消耗。Q：Flash Attention的机制是什么？如何实现这种优化的？
2024-09-23 21:30:29
1469
原创 从零开始手搓Transformer#Datawhale组队学习Task1#
动手学深度学习PyTorch》一些简介：Transformer 是一种在自然语言处理（NLP）领域具有里程碑意义的模型架构，首次在2017年的论文《Attention is All You Need》中提出。该架构摒弃了传统的递归神经网络（RNN）和卷积神经网络（CNN），完全依赖于自注意力机制（Self-Attention Mechanism），使得模型能够并行处理序列数据，大幅提升了训练效率。
2024-09-19 22:16:20
1352
原创 #Datawhale X 李宏毅苹果书 AI夏令营#2.实践方法论
比较合理选择模型的方法是把训练的数据分成两半，一部分称为训练集（training set）， 一部分是验证集（validation set）。模型复杂度的平衡：可以选一个中庸的模型，不是太复杂的，也不是太简单的，刚刚好可以在训练集上损失最低，测试损失最低。一般只会用到梯度下降进行优化，这种优化的方法很多的问题。为什么会有过拟合这样的情况呢？模型偏差可能会影响模型训练。
2024-08-30 15:16:17
779
原创 #Datawhale X 李宏毅苹果书 AI夏令营#1.2了解线性模型
图1的这条红色曲线，我们可以把它看作是由下面几段蓝色曲线叠加得到的，如果不理解的话，那么换个说法，这们可以把红色曲线看到是由自身的三段折线叠加组合而成。线性模型只能模拟简单的线性关系，无法模拟复杂的非线性关系，然后现实中的问题通常是复杂的。：在训练数据和测试数据上的结果是不一致的，训练数据上效果很好，在测试数据（没看过的数据）上，效果变差，这种情况称为过拟合（overfitting）。随着我们使用数据的增加，训练损失和验证损失都在减少，到一定程度后，验证损失不在减小，表明仅靠增加数据，模型已达到上限。
2024-08-29 20:38:31
1142
原创 OpenCompass 评测 InternLM-1.8B 实践 #书生浦语大模型实战营
OpenCompass 是一个用于评测大模型性能的开源平台，旨在为大语言模型、多模态模型等提供一站式的评测服务。
2024-08-28 18:26:41
1154
原创 #Datawhale X 李宏毅苹果书 AI夏令营#3.1&3.2局部极小值与鞍点&批量和动量
本章介绍深度学习常见的概念，主要包括3.1局部极小值与鞍点；3.2批量和动量。
2024-08-27 21:59:18
1119
原创 #Datawhale X 李宏毅苹果书 AI夏令营#1.1机器学习基础案例学习
机器学习算法是一种能够从数据中学习的算法。专业的定义：“对于某类任务 T 和性能度量 P，一个计算机程序被认为可以从经验 E 中学习是指，通过经验 E 改进后，它在任务 T 上由性能度量 P 衡量的性能有所提升。”简单概括一下就是：利用经验改善系统自身的性能。我们回到苹果书，苹果书对这个专业的定义做了简化，并使用了函数来进行类比。“具体来讲，机器学习就是让机器具备找一个函数的能力。机器具备找函数的能力以后，它可以做很多事。
2024-08-27 17:18:41
1270
原创 XTuner微调个人小助手认知 #书生浦语大模型实战营#
本次的任务是使用 XTuner 微调 InternLM2-Chat-1.8B 实现自己的小助手认知，从而让模型能够个性化的回复，让模型知道他是我们的小助手，在实战营帮我们完成XTuner微调个人小助手认知的任务。并截图打卡。微调前，模型的回复比较通用。微调后，模型可以有个性化的回复啦。
2024-08-26 21:19:39
1389
原创 llamaindex+Internlm2 RAG实践 #书生谱语大模型实战营#
NLTK(Natural Language Toolkit) 是一个广泛使用的 Python 库，用于处理自然语言数据。它是自然语言处理（NLP）领域中最受欢迎的工具之一，被广泛应用于学术研究、教育以及工业界的各种项目中。NLTK 提供了一系列用于文本处理的工具和资源，包括分词、词性标注、命名实体识别、语法分析等。主要特点：1）丰富的数据集和语料库；2）广泛的文本处理工具；3）教育和研究用途；4）社区支持。
2024-08-24 20:45:30
1262
原创 LangGPT结构化提示词编写实践 #书生大模型实战营#
近期相关研究发现，LLM在对比浮点数字时表现不佳，经验证，internlm2-chat-1.8b (internlm2-chat-7b)也存在这一问题，例如认为13.8<13.11。：利用LangGPT优化提示词，使LLM输出正确结果。
2024-08-23 22:33:09
1148
原创 #Datawhale AI夏令营第4期#多模态大模型Task3
Data-Juicer 是一个多模态数据处理系统，旨在提升数据质量，使其更适合用于大语言模型（LLMs）。系统提供了一系列用于数据处理的强大工具，包括 80 多个核心操作符、20 多个可重用配置和丰富的工具包。Data-Juicer 支持多种数据格式和多模态数据处理（如文本、图像、音频、视频），并且可以灵活扩展以满足特定需求。Data-Juicer的核心就是算子，通过算子的组合，我们可以实现数据的清洗。Data-Juicer中的算子分为以下 5 种类型。Formatter：发现、加载、规范化原始数据。
2024-08-17 18:04:30
927
原创 #Datawhale AI夏令营第4期#多模态大模型Task2
在DJ中，数据沙盒实验室为用户提供了持续生产数据菜谱的最佳实践，其具有低开销、可迁移、有指导性等特点，用户在沙盒中基于一些小规模数据集、模型对数据菜谱进行快速实验、迭代、优化，再迁移到更大尺度上，大规模生产高质量数据以服务大模型。用户在沙盒中，除了DJ基础的数据优化与数据菜谱微调功能外，还可以便捷地使用数据洞察与分析、沙盒模型训练与评测、基于数据和模型反馈优化数据菜谱等可配置组件，共同组成完整的一站式数据-模型研发流水线。进行数据合成与清洗，产出一份基于种子数据集的更高质量、更多样性的数据集，并在。
2024-08-15 21:57:13
815
原创 #Datawhale AI夏令营第4期#AIGC方向 文生图 Task2
Task2任务：对baseline的代码有一个更加细致的理解，然后学习如何借助AI来提升我们的自学习能力.
2024-08-14 11:46:58
1649
原创 #Datawhale AI 夏令营第4期#多模态大模型Task1
本次任务：天池Better Synth多模态大模型数据合成挑战赛。在当下大数据、大模型时代，大数据是驱动大模型的能源。当前大模型的训练数据绝大部分来源于互联网上的信息，但随着大模型尺寸与性能逐渐提升，互联网上的海量数据也将逐渐使用殆尽，并且对于多模态大模型来说，这些海量资源在获取后，也需要极大的额外处理和人力标注才可以达到可用于训练大模型的水准。因此，如何借助已有的强大的大模型，在有限的计算资源下为新的模型训练流程高效合成优质的训练数据成为了一个新兴的值得关注的问题。
2024-08-11 21:44:17
654
原创 #Datawhale AI夏令营第4期#AIGC 文生图 Task1
文生图（Text-to-Image Generation）的历史可以追溯到人工智能领域开始尝试使用深度学习技术来生成图像。早期探索：GAN（生成对抗网络）的提出标志着生成模型的一个重大突破。它由两个神经网络组成：生成器（Generator）和判别器（Discriminator）。生成器的任务是生成看起来真实的图像，而判别器的任务是区分真实图像和生成图像。发展阶段：随着技术的成熟和进步，出现了更多的GAN的变体，并结合了注意力机制，提高了文本到图像生成的质量。
2024-08-11 19:31:56
892
原创 8G 显存玩转书生大模型 Demo #书生大模型实战营#
（TimM）是一个 PyTorch 的模型库，它提供了大量的预训练图像模型，包括经典的 CNN（卷积神经网络）架构以及最新的研究进展。很好的理解了我的问题，默认生成了一段中文的描述，对图片的描述比之前的InternLM-XComposer2-VL-1.8B效果要好。InternVL2 是上海人工智能实验室推出的新一代视觉-语言多模态大模型，是首个综合性能媲美国际闭源商业模型的开源多模态大模型。LMDeploy 是一个用于快速部署语言模型的服务框架，它可以帮助你轻松地将大型语言模型部署到各种环境中。
2024-08-09 20:31:38
1073
原创 书生·浦语大模型全链路开源开放体系介绍#书生大模型实战营#
书生·浦语大模型是由上海人工智能实验室（上海AI实验室）、商汤科技联合香港中文大学、复旦大学及上海交通大学共同研发的一个大规模语言模型。自2023年发布以来，历时一年多，目前已经更新到InternLM2.5。
2024-08-06 09:44:09
936
原创 #Datawhale AI 夏令营第3期#AI + 地球科学 Task4 学习笔记
强对流天气是气象学上所指发生突然、移动迅速、天气剧烈、破坏力强的中小尺度灾害性天气，通常伴有雷雨大风、冰雹、龙卷风、短时强降水等。由于空间尺度小、生命史短暂、并带有明显的突发性，就目前的预报方法和技术水平而言，对其进行“定点、定量、定时”的预报难度很大。江苏东部临海，地势平坦，域内江河湖泊水网交织，处于亚热带和暖温带的气候过渡地带，易积聚不稳定能量，导致强对流频发，对社会基础设施、公众生命安全产生较大威胁。因此，江苏地区的强对流天气预报一直是短临预报业务工作中的重点与难点。
2024-08-03 18:21:45
915
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人