m0_50972200的博客

在计算机科学和人工智能中，Agent是一种自主软件实体，能够在某个环境中感知、推理、决策和执行任务。它们可以根据环境状态和目标做出独立决策，通常具有学习和适应能力。Agent的特点：自主性：Agent能够自主执行任务，无需用户的持续干预。感知能力：Agent可以通过传感器（如用户输入、API数据等）获取环境信息，比如通过Agent调用一些天气相关的API让模型可以得到实时的天气信息。智能决策：基于获取的信息和预设的规则或学习到的知识，Agent可以进行推理和决策。

具体的项目放到明天更新，今天先签到占个位。

如下图，根据原始的输入通过可学习的线性变换得到三个矩阵Wq、Wk、Wv，分别将输入映射得到Q、K、V，让不同通道间的Q、K计算内积，得到的结构在进行softmax得到一个注意力得分，在乘上V，就得到了注意力加权后的模型。就像下面这个图里，embeding其实做的事可以看成两步，首先经过词汇表把汉字或单词转化成一维的索引序列，然后再通过你所指定的hidden_size来对序列映射，假如hidden_size=512，那么你每一个索引就是512维的向量。通过矩阵乘法计算查询和键的点积，得到注意力权重。

所以把正向的网络在输入xt 的时候跟逆向的网络在输入 xt 时，都丢到输出层产生 yt，产生 yt+1,yt+2，以此类推。其实前面提到过了RNN架构，书中给出的例子如下图，其实也就是之前提到过的每一层的输出不知取决于当前层的输入还有上一层的输出有关，书中给出的解释是，上一层的输出结果会储存在记忆层中，这时候当前隐藏层预测结果会同时考虑当前的输入与记忆层的内容。由图可知RNN的输入来自于上一层的输出结果和当前层的输入，所以RNN常被用来预测金融市场、气象等领域，通过分析过去的数据序列预测未来的趋势。

多的不说少的不唠，之前说过初赛基本就是比谁的数据好了，因为原始数据的质量太低了想跑到0.25都很难所以需要使用一些数据增强策略以及收集一些新的数据集。

后经历了两次迭代，到yolov3凭借其快速准确的优势迅速统治目标检测领域，后来好像是美军把他的模型应用到武器方面，作者宣布不在迭代新的版本。先说一下这几天跑下来个人感觉吧，就是数据太差了，细致观察数据可以发现主办方给出标注数据的视频大多都是同一个场景，我甚至看到两个黄色共享电动车的出现在2/5的数据里面也就是50个视频20个有这俩哥们（我自己标了一遍数据，现在看到共享电动我都反胃）。所以，初赛的上分思路截止到目前不建议大家去更换模型修改模型了就，没什么意义，因为数据决定了你80%的成功。

卷积层：机器人先学习“看”图像的小部分，比如耳朵、眼睛的形状、胡须的样子等等。这部分看书的时候感觉云里雾里的，好在之前学过一些卷积神经网络、全链接、感受野的概念，我就用自己的理解阐述一篇笔记吧，当复习了。全连接层：最后，机器人会综合所有这些信息，得出结论：“嗯，这只动物有尖尖的耳朵、圆圆的眼睛、长长的胡须，应该是一只猫！池化层：然后，机器人会把这些特征简化，找到最具代表性的部分，好比你在一个小尺寸的缩略图中还认得出这些部分。就像下图一样，有一个3×3的框，在原始6×6的图像上滑动，来捕捉一些信息。

话不多说直接开始。

之前一直接触的LLM大模型做一些应用，或者传统的自然语言处理，都是直接拿别人的模型用，要不就是在网上找些源码自己改，还有一些视觉识别任务，大多都是应用层面的知识，刚好DataWhale有这次机会可以补充一下深度学习的基础知识。书籍地址：https://github.com/datawhalechina/leedl-tutorial也非常建议大家购买纸质版书籍，必看pdf方便多了。

时文末提出的技巧一样，datawhale社区贡献者们在task2中主要也是使用这种方式----使用大模型对文生图的提示词进行生成，在当今主流的敲代码或者编写一些提示词的方式，慢慢的大多数都被交给大模型来处理“科技就是生产力”，不仅能提高我们的效率，而且可能会比我们自己写的更好一些。除了通义千问我还试了一下gpt4o-mini模型，不吹不黑确实是通义要强一些哈(这里我就不放和正常的4o对比的了，毕竟那个是付费的肯定强一些)，国产加油！效果展示，图片的质量还是不错的，场景信息也都还行，大家可以多用大模型调试。

文生图有很多模型架构其实，比如GAN、Flow-based等，这里我主要介绍两种比较能打的分别是DALL·E和Diffusion。其中本次DataWhale的学习也是围绕Diffusion模型开展的，很喜欢一句话在这里引用一下" 高斯去噪，扩散称王。

项目名称：医疗问答助手。

[TOC](DataWhale AI夏令营-催化反应速率预测(机器学习方向思路))（无特征工程）

开始训练，这个部分是我血与泪的教训，建议大家无论用什么条参方法千万少写参数范围，因为官方提供的阿里云机器跑太久了总会出现奇怪的错误导致你白跑。学习率参数能够更好的减小模型过拟合的风险，并且梯度提升回归模型对超参数更为敏感，通过网格搜索、贝叶斯搜索等自动化调参方法更容易拿到高一些的分数。这里我还是使用的传统的网格搜索的方式，大家感兴趣的话可以尝试其他方法。加油吧，祝你取得心仪的分数哦，后面我可能会继续尝试新模型，因为特征工程做起来感觉比较麻烦，暂时不想考虑（打工人没时间，唉！读取数据并转化为分子指纹。

话不多说直接开始。

以下是个人从本次学习中，学习到的一些技巧，以及对于大模型应用类任务调优的心得。其实对于大模型应用，主要注重两个方面，一是提示词工程(Prompt工程)，二是模型微调。话不多说接下来我将从这两个方面分享我通过本次学习收获的知识。

报名的时候没仔细看，报错赛道了。。。不过还好，DataWhale与传统的竞赛不同的是对新手非常有好，并且提供了很详细的baseline的流程，和代码讲解，很快能让人上手。对于本次竞赛还是收获较多的，以前接触的比较多的都是计算机视觉(CV)，自然语言处理(Nlp)和大模型(LLM)应用之类相关的项目，刚好借此次机会学习一些基础的机器学习知识。

图像语义分割（semantic segmentation）是图像处理和机器视觉技术中关于图像理解的重要一环，AI领域中一个重要分支，常被应用于人脸识别、物体检测、医学影像、卫星图像分析、自动驾驶感知等领域。FCN全卷网络,舍弃了传统的全连接层，仅使用卷积和池化等操作完成，end-to-end的像素集预测网络。这个就不用过多赘述了，目标检测是画框，语义分割就是把目标从图里面抠出来。下载预训练VGG-16模型。

最近做了一个基于Qwen2-1.5B-Instruct模型的比赛，记录一下自己的微调过程。怕自己以后忘了我就手把手一步一步来记录了。大多数都是给小白看的，如果你是小白建议你用jupyter运行，按照我这个模块一块一块运行，如果你是高手单纯的想找一个训练代码直接看模块10，我在提供了完整代码。

无论全局context是设置成静态图模式还是动态图模式，被jit修饰的部分始终会以静态图模式进行运行。动态图的特点是计算图的构建和计算同时发生（Define by run），其符合Python的解释执行方式，在计算图中定义一个Tensor时，其值就已经被计算且确定，因此在调试模型时较为方便，能够实时得到中间结果的值，但由于所有节点都需要被保存，导致难以对整个计算图进行优化。模式下，基于图优化、计算图整图下沉等技术，编译器可以针对图进行全局的优化，获得较好的性能，因此比较适合网络固定且需要高性能的场景。