m0_63642362的博客

清洁/垃圾道路分类。使用预训练模型和数据扩充。使用Resnet

整理汇总图像分割相关的各类经典项目，供用户查阅学习

钢铁厂在生产钢筋的过程中，会存在部分钢筋长度超限的问题，如果不进行处理，容易造成机械臂损伤。因此，需要通过质检流程，筛选出存在长度超限问题的钢筋批次，并进行预警。

基于PP-PicoDet实现通信塔识别，并给出Android端部署方案和demo

开源社区首个粤语语音合成模型来啦～快来生成粤语音频，欺负某小破站没有粤语审核吧～

注意力机制在计算机视觉中取得了巨大的成功。 然而，在某些实现中普遍使用的全局平均池将三维特征图聚合为一维注意力图，导致注意力学习中结构信息的显著丢失。 为此，本文提出了SPANet

虽然现有注意力主要以前馈、自下而上的方式进行操作，非常地依赖于单个输入特征图的局部信息.。因此，本文提出了TDAM，它迭代生成一个“视觉探照灯”，以在每个计算步骤中对底部特征进行注意力机制

通过人工智能来解决一个临床小问题

ICLR2023最新论文，移动端福音！SeaFormer: Squeeze-enhanced Axial Transformer

【PaddlePaddle Hackathon 第四期】No.105 官方Baseline指导：基于PaddleNLP PPDiffusers 训练 AIGC 趣味模型

对于日常生活中对我们带来风险损失的假图：资质证书、文案、截图等。针对真实场景中大量出现的篡改图像，使用PaddleSeg进行图像篡改区域检测。线上打榜分2391.34.

国内“谁”能实现chatgpt，短期穷出的类ChatGPT简评（算法侧角度为主），以及对MOSS、ChatYuan给出简评，一文带你深入了解宏观技术路线。

最近在入门自然语言处理处理，看了一些书，决定将书里对应的一些算法通过Python实现出来，也算是开了一个新坑，希望能够和一起学习自然语言处理的同学们一起进步。

本文系统地研究了CNN中最先进的注意模块，发现自注意机制与归一化密切相关。基于这一观察，本文提出了一种新的注意模块，称为归一化注意模块（简称NA模块）

本次比赛提供微博识别数据集，每条数据包括微博文本数据及对应的话题标签，每个数据样本可能包含一个或多个话题标签。

注意机制在计算机视觉研究中取得了巨大的成功，本文引入空间金字塔注意网络(SPANet)来研究注意块在图像识别中的作用

本文提出了动态卷积，一种在不增加网络深度或宽度的情况下增加模型复杂性的新设计。其不是每层使用一个卷积核，而是根据依赖于输入的注意力动态聚合多个并行的卷积核。

本文主要对数据建模与分析中常使用到的pandas内置函数进行总结分析，以此来熟悉数据建模与分析的流程。

通用手写文字擦除

是一个基于PaddlePaddle的目标检测端到端开发套件，在提供丰富的模型组件和测试基准的同时，注重端到端的产业落地应用，通过打造产业级特色模型|工具、建设产业应用范例等手段，帮助开发者实现数据准备、模型选型、模型训练、模型部署的全流程打通，快速进行落地应用。3）提高空间大，欢迎各路大佬魔改：除了官方发布的基线，每年都会有各路选手参与基线的魔改工作，开源自己的优质方案，期待你的AI Studio项目，发布时请带上“第十八届”、“完全模型组”等字样。截至到这里，检测模型的训练和转换已经完成。

是一个基于PaddlePaddle的目标检测端到端开发套件，在提供丰富的模型组件和测试基准的同时，注重端到端的产业落地应用，通过打造产业级特色模型|工具、建设产业应用范例等手段，帮助开发者实现数据准备、模型选型、模型训练、模型部署的全流程打通，快速进行落地应用。3）提高空间大，欢迎各路大佬魔改：除了官方发布的基线，每年都会有各路选手参与基线的魔改工作，开源自己的优质方案，期待你的AI Studio项目，发布时请带上“第十八届”、“完全模型组”等字样。截至到这里，检测模型的训练和转换已经完成。

生成型预训练变换模型 3 （Generative Pre-trained Transformer 3，简称GPT3）是一个自回归语言模型，目的是为了使用深度学习生成人类可以理解的自然语言。GPT3的神经网路包含1750亿个参数，是当时参数最多的神经网路模型。GPT3 模型拥有非常多个领域的先验知识，当用户通过自然语言向语言模型提出问题时，模型能够回答其中的大多数问题。

自己造轮子是一件很折腾，但也很有意思的事情。可以培养自己除了开发之外，关于产品和用户角度的一些思维。关于这个工具，后续也会引入和支持更多的绘图方式来辅助算法选型和科研需要。最后，也在PFCC的推荐下，给PaddleYOLO和PaddleDetection提交了相应的PR，目前已被合入，后面又做了微调。林旭 某小厂算法架构师AICA六期班学员飞桨PFCC成员飞桨PPDEGithub主页:https://github.com/isLinXu。

在本项目中，我们使用PaddleNLP提供的ERNIE-Layout文档智能问答能力，完成了针对特定业务需求的简历问答筛选功能开发，使用ERNIE-Layout的预训练模型，在简历文档问答任务上已经有了不错的表现。所以，简历的筛选，不仅仅是把常规个人信息汇总下，如果能够针对我们特定的需求进行筛选，才更符合企业需要，对不？通常情况下，如果是缺人的情况下招人，应该是有明确目的，想要找到符合相应要求的人。不妨假设一下，如果我们是企业的HR，或者某个小组里的PM，面对汹涌而来的简历，最关心的是什么。

本项目延续之前的工作内容，给自研框架OurDL增加Linear和交叉熵损失，让框架能够更好的支持分类任务，并且给框架增加了列表输入的模式。但实际上，Linear的实现远未结束，因为linear.MulNode中多个节点都指向输入节点X，按照求导法则，这些节点传递到X的梯度应当累加以作为最终梯度，但是当前的MulNode每传递一次就会消除上周期的梯度信息。因此当前的框架不能支持多个Linear拼接在一起构成网络的写法。这个问题将在下次更新时进行修复。Fork本项目，即可看到最新的OurDL.py文件~

注意力机制被广泛认为是视觉Transformer成功的关键，因为它提供了一种灵活而强大的方式来建模空间关系。然而，注意力机制真的是ViT不可或缺的一部分吗?它能被其他替代品取代吗?为了揭开注意力机制的神秘面纱，我们将其简化为一个极其简单的例子:ZERO FLOP和ZERO parameter。具体来说，我们要重新审视Shift操作。它不包含任何参数或算术计算。唯一的操作是在相邻特性之间交换一小部分通道。基于这个简单的操作，我们构建了一个新的骨干网络，即ShiftViT，其中的注意层被Shift操作所取代。

在BERT之前是Word2Vec或者语言模型一般不更新预训练好的模型换新任务需要构建新的网络来抓取新任务需要的信息模型更大，训练数据更多输入句子对，片段嵌入可学习位置编码训练时使用两个任务：带掩码的语言模型下一个句子预测BERT使用了上面的技术，实现了自监督训练（预训练），并为后面的微调应用打好了基础。

医学图像分类（Medical image classification）是计算机辅助诊断系统的关键技术。医学图像分类问题主要是如何从图像中提取特征并进行分类，从而识别和了解人体的哪些部位受到特定疾病的影响。在这里我们主要使用量子神经网络对公开数据集 MedMNIST 中的胸腔数据进行分类。QNNMIC 模型是一个可以用于医学图像分类的量子机器学习模型（Quantum Machine Learning，QML）。

假如你是一位资产管理人，想要将数额为KKK的基金一次性投入到NNN个可投资的项目中，各项目都有自己的投资回报率和风险，你的目标就是在考虑到市场影响和交易费用的的基础上找到一个最佳的投资组合，使得该笔资产以最优的投资方案实施。为了方便建模，我们做如下两点假设：1.每个项目都是等额投资的；2.给定的预算是投资一个项目金额的整数倍，且必须全部花完。在投资组合的基本理论中，投资组合的总体风险与项目间的协方差有关，而协方差与任意两项目的相关系数成正比。

全国大学生智能汽车竞赛是以智能汽车为研究对象的创意性科技竞赛，是面向全国大学生的一种具有探索性工程的实践活动，是教育部倡导的大学生A类科技竞赛之一。竞赛以立足培养，重在参与，鼓励探索，追求卓越为指导思想，培养大学生的创意性科技竞赛能力。本次比赛数据由赛曙科技(SASU)提供，模型和基线相关技术支持由深度学习技术平台部提供，一站式AI开发平台AI Studio由百度AI技术生态部提供。要求在统一的计算资源下，能够对农业相关物体的具体位置和类别进行快速精准的识别。

本项目延续之前的工作内容，给自研框架OurDL进行了一些结构化的改进，并且让这个框架支持不同的优化器~关于各个优化器对应的结果可以自行修改示例代码观察，可以看到更替了优化器之后收敛速度明显提高。最后，把上面的代码复制粘贴到OurDL.py文件里就可以快乐通过import的方式使用了~Fork本项目，即可看到最新的OurDL.py文件~请点击此处查看本环境基本用法.here。

通过PaddleOCR 可以快速搭建训练，评估，导出，预测模型，完成验证码的识别工程。通过更换不同的预训练模型，可以二次训练出不同的验证码识别模型，支持中英文和其他多语种。

深度学习框架本质可以看作一个库，或者称之为包，或者是一个简单的写满了函数声明的py文件，其核心在于用户（调包侠）可以通过调用其中的函数轻松完成深度学习模型（神经网络）的创建和训练工作。其中，PaddlePaddle就是一个深度学习框架。更具体来说，如果不使用深度学习框架，用户需要自行编写模型训练中的求导和梯度反馈逻辑；使用了深度学习框架，用户只需要构造模型结构，而不需要去了解这个模型要怎么进行求导和梯度反馈。

图像数据集由1725幅黑白图像组成，这些图像以256×256像素的便携式网络图形格式提供，分为1218幅训练图像、241幅验证图像和266幅测试图像。我们提供测试集和验证集中每个类的样本。有两种类型的图像：表示数据集中形状的形状图像和表示与形状图像对应的骨架的骨架图像。Pixel SkelNetOn 竞赛：像素骨架提取分析能对不同目标的二值化掩码进行细化，克服传统方法人工设置参数的不便。如何从少量样本中准确提取不同形状的的骨架，存在一定的挑战性。通过paddle提供的接口自定义数据加载方式。

论文 | Global Vectors for Word Representation链接 | https://nlp.stanford.edu/projects/glove/作者 | Jeffrey Pennington / Richard Socher / Christopher D. Manning发布时间 | 2014开始讲解之前，我们先阅读标题，Global体现出Glove是作用于全局，vector for word说明Glove是一个词语的表示方式(词向量），作者也说了，之所以叫Glove的原因

批量归一化（BN）通过一批图像的统计数据对输入图像的特征进行归一化，因此BN会将噪声带到训练损失的梯度。已有的研究表明，噪声对深度神经网络的优化和泛化能力有重要影响，但噪声过大会损害网络的性能。本文提出了一个新的观点，即自注意机制可以通过增强实例信息来调节噪声，从而获得更好的正则化效果。因此，我们提出了一种基于注意力的BN，称为实例增强批量归一化（IEBN），它通过一个简单的线性变换来重新校准每个通道的信息。

只在terminal中进行闲聊交互不满足与我们的需求如何使用最便捷的方式构建一个交互式的前端页面用于作品分享和传播呢？StreamlitStreamlit 是一个基于 Python 的 Web 应用程序框架，致力于以更高效、更灵活的方式可视化数据，并分析结果。作为一个开源库，可以帮助数据科学家和学者在短时间内开发机器学习 (ML) 可视化仪表板。只需几行代码，我们就可以构建并部署强大的数据应用程序。为什么选择Streamlit？

本赛题属于典型的分类问题，以英雄联盟手游为背景，要求选手根据英雄联盟玩家的实时游戏数据，预测玩家在本局游戏中的输赢情况。事实上项目仍然有很多能够改进的地方模型可以利用进一步优化网络结构尽管180000条样本可以一次性训练，修改训练批数仍有可能进步项目并没有做明确的训练集/测试集划分，可以尝试采用交叉验证来减少过拟合。

训练时，给模型提供一段时间的广告流量，根据模型计算出的广告点击情况与真实的广告点击情况进行对比，得出损失值，反向传播得到梯度，让模型反复学习。预测时，给模型提供训练数据后一天的广告点击流量，然而后一天的广告点击情况我们是知道的，只是没有提供给模型，待模型预测出后一天的广告点击情况时，再与实际情况做对比，从而得到预测结果中的auc值。

Python作为一款面向对象、跨平台并且开源的计算机语言，是机器学习实践的首选工具。入门Python机器学习应从了解并掌握Python的Numpy、Pandas、Matplotlib包开始。学习Python和完成机器学习实践的有效途径是：以特定的机器学习应用场景和数据作为出发点，沿着由浅入深的数据分析脉络，以逐个解决数据分析实际问题为目标，逐步展开对Python的学习和机器学习的实践。