丨汀、的博客

【深度学习入门到进阶】必看系列，含激活函数、优化策略、损失函数、模型调优、归一化算法、卷积模型、序列模型、预训练模型、对抗神经网络等本专栏主要方便入门同学快速掌握相关知识,后续会不断增添实战环节（比赛、论文、现实应用等）专栏订阅：深度学习入门到进阶专栏A.深度学习基础入门篇[一]：神经元简介、单层多层感知机、距离计算方法式、相似度函数A.深度学习基础入门篇[二]：机器学习常用评估指标:AUC、mAP、IS、FID、Perplexity、BLEU、ROUGE等详解A.深度学习基础入门篇[三]：优化策略梯度

中文多模态医学大模型智能分析X光片，实现影像诊断，完成医生问诊多轮对话

人工智能领域：面试常见问题超全（深度学习基础、卷积模型、对抗神经网络、预训练模型、计算机视觉、自然语言处理、推荐系统、模型压缩、强化学习、元学习）

理论上来说，深度神经网络模型越深，非线性程度也就越大，相应的对现实问题的表达能力越强，但相应的代价是，训练成本和模型大小的增加。同时，在部署时，大模型预测速度较低且需要更好的硬件支持。首先是速度，比如像人脸闸机、人脸解锁手机等应用，对响应速度比较敏感，需要做到实时响应。其次是存储，比如电网周边环境监测这个应用场景中，要图像目标检测模型部署在可用内存只有200M的监控设备上，且当监控程序运行后，剩余内存会小于30M。最后是耗能，离线翻译这种移动设备内置AI模型的能耗直接决定了它的续航能力。

深度学习应用篇-元学习[16]：基于模型的元学习-Learning to Learn优化策略、Meta-Learner LSTM

【深度学习入门到进阶】必看系列，含激活函数、优化策略、损失函数、模型调优、归一化算法、卷积模型、序列模型、预训练模型、对抗神经网络等专栏详细介绍：【深度学习入门到进阶】必看系列，含激活函数、优化策略、损失函数、模型调优、归一化算法、卷积模型、序列模型、预训练模型、对抗神经网络等本专栏主要方便入门同学快速掌握相关知识。后续会持续把深度学习涉及知识原理分析给大家，让大家在项目实操的同时也能知识储备，知其然、知其所以然、知何由以知其所以然。声明：部分项目为网络经典项目方便大家快速学习，后续会不断增添实战环节（比

【深度学习入门到进阶】必看系列，含激活函数、优化策略、损失函数、模型调优、归一化算法、卷积模型、序列模型、预训练模型、对抗神经网络等专栏详细介绍：【深度学习入门到进阶】必看系列，含激活函数、优化策略、损失函数、模型调优、归一化算法、卷积模型、序列模型、预训练模型、对抗神经网络等本专栏主要方便入门同学快速掌握相关知识。后续会持续把深度学习涉及知识原理分析给大家，让大家在项目实操的同时也能知识储备，知其然、知其所以然、知何由以知其所以然。声明：部分项目为网络经典项目方便大家快速学习，后续会不断增添实战环节（比

元学习 (Meta-Learning) 通常被理解为“学会学习 (Learning-to-Learn)”，指的是在多个学习阶段改进学习算法的过程。在基础学习过程中，内部（或下层/基础）学习算法解决由数据集和目标定义的任务。在元学习过程中，外部（或上层/元）算法更新内部学习算法，使其学习的模型改进外部目标。因此，元学习的核心想法是学习一个先验知识 (prior)。

CTR预估是目前推荐系统的核心技术，其目标是预估用户点击推荐内容的概率。DeepFM模型包含FM和DNN两部分，FM模型可以抽取low-order（低阶）特征，DNN可以抽取high-order（高阶）特征。低阶特征可以理解为线性的特征组合，高阶特征，可以理解为经过多次线性-非线性组合操作之后形成的特征，为高度抽象特征。无需Wide&Deep模型人工特征工程。由于输入仅为原始特征，而且FM和DNN共享输入向量特征，DeepFM模型训练速度很快。

在网络技术不断发展和电子商务规模不断扩大的背景下，商品数量和种类快速增长，用户需要花费大量时间才能找到自己想买的商品，这就是信息超载问题。为了解决这个难题，个性化推荐系统（Recommender System）应运而生。个性化推荐系统是信息过滤系统（Information Filtering System）的子集，它可以用在很多领域，如电影、音乐、电商和 Feed 流推荐等。个性化推荐系统通过分析、挖掘用户行为，发现用户的个性化需求与兴趣特点，将用户可能感兴趣的信息或商品推荐给用户。

【深度学习入门到进阶】必看系列，含激活函数、优化策略、损失函数、模型调优、归一化算法、卷积模型、序列模型、预训练模型、对抗神经网络等专栏详细介绍：【深度学习入门到进阶】必看系列，含激活函数、优化策略、损失函数、模型调优、归一化算法、卷积模型、序列模型、预训练模型、对抗神经网络等本专栏主要方便入门同学快速掌握相关知识。后续会持续把深度学习涉及知识原理分析给大家，让大家在项目实操的同时也能知识储备，知其然、知其所以然、知何由以知其所以然。声明：部分项目为网络经典项目方便大家快速学习，后续会不断增添实战环节（比

【深度学习入门到进阶】必看系列，含激活函数、优化策略、损失函数、模型调优、归一化算法、卷积模型、序列模型、预训练模型、对抗神经网络等专栏详细介绍：【深度学习入门到进阶】必看系列，含激活函数、优化策略、损失函数、模型调优、归一化算法、卷积模型、序列模型、预训练模型、对抗神经网络等本专栏主要方便入门同学快速掌握相关知识。后续会持续把深度学习涉及知识原理分析给大家，让大家在项目实操的同时也能知识储备，知其然、知其所以然、知何由以知其所以然。声明：部分项目为网络经典项目方便大家快速学习，后续会不断增添实战环节（比

N-Gram是一种基于统计语言模型的算法。它的基本思想是将文本里面的内容按照字节进行大小为N的滑动窗口操作，形成了长度是N的字节片段序列。每一个字节片段称为gram，对所有gram的出现频度进行统计，并且按照事先设定好的阈值进行过滤，形成关键gram列表，也就是这个文本的向量特征空间，列表中的每一种gram就是一个特征向量维度。该模型基于这样一种假设，第N个词的出现只与前面N-1个词相关，而与其它任何词都不相关，整句的概率就是各个词出现概率的乘积。这些概率可以通过直接从语料中统计N个词同时出现的次数得到。

首先考虑一个正常的卷积操作，以核大小为3的一维卷积为例。假设卷积的权重为Ww1w2w3Ww1​w2​w3​，输入XXX是一个1D无限长的向量，则卷积操作YConvWXYConvWXYiw1Xi−1w2Xiw3Xi1Yi​w1​Xi−1​w2​Xi​w3​Xi1​将卷积操作解耦为两步，位移和乘法累加。对输入XXX进行−101-1, 0, +1−。

声明：部分项目为网络经典项目方便大家快速学习，后续会不断增添实战环节（比赛、论文、现实应用等）

作者发现Deep Convolutional Neural Networks (DCNNs) 能够很好的处理的图像级别的分类问题，因为它具有很好的平移不变性（空间细节信息已高度抽象），但是DCNNs很难处理像素级别的分类问题，例如姿态估计和语义分割，它们需要准确的位置信息。将深度神经网络DCNN与全连接CRF结合起来，提高图像分割的分割精度。提出空洞卷积的思想。应用尝试了多尺度、多层次的信息融合。重复堆叠的池化和下采样操作导致分辨率大幅下降，位置信息丢失难以恢复。

深度学习应用篇-计算机视觉-语义分割综述[5]：FCN、SegNet、Deeplab等分割算法、常用二维三维半立体数据集汇总、前景展望等

声明：部分项目为网络经典项目方便大家快速学习，后续会不断增添实战环节（比赛、论文、现实应用等）

相较于VGG的19层和GoogLeNet的22层，ResNet可以提供18、34、50、101、152甚至更多层的网络，同时获得更好的精度。但是为什么要使用更深层次的网络呢？同时，如果只是网络层数的堆叠，那么为什么前人没有获得ResNet一样的成功呢？基础模块构建好后，就可以构建完整的ViT网络了。假设我们将原始图像切分成3×33 \times 33×3。

LeNet是最早的卷积神经网络之一[1]，其被提出用于识别手写数字和机器印刷字符。1998年，Yann LeCun第一次将LeNet卷积神经网络应用到图像分类上，在手写数字识别任务中取得了巨大成功。算法中阐述了图像中像素特征之间的相关性能够由参数共享的卷积操作所提取，同时使用卷积、下采样（池化）和非线性映射这样的组合结构，是当前流行的大多数深度图像识别网络的基础。

声明：部分项目为网络经典项目方便大家快速学习，后续会不断增添实战环节（比赛、论文、现实应用等）

本教程所使用的集装箱箱号数据集，该数据包含3003张分辨率为1920×1080的集装箱图像" 图像文件名 json.dumps编码的图像标注信息"其中json.dumps编码前的图像标注信息是包含多个字典的list，字典中的 points 表示文本框的四个点的坐标(x, y)，从左上角的点开始顺时针排列。transcription 表示当前文本框的文字，当其内容为“###”时，表示该文本框无效，在训练时会跳过。" 图像文件名 图像标注信息 "

1. NLP知识简介情感分析,是文本分类任务的经典场景:**输入:**一个自然语言句子。**输出:**输出这个句子的情感分类,如高兴、伤心通常看作一个三分类问题：-正向:表示正面积极的情感,如高兴、喜欢。-负向:表示负面消极的情感,如难过、讨厌。-中性:其他类型的情感。2. NLP原理介绍数据处理通用流程 以句子分类为例词汇表长度5w词向量纬度: 500批处理句子数Batch_ size : 128，统-句子长度num. token: 3词向量纬度Emb

项目链接：https://aistudio.baidu.com/aistudio/projectdetail/1932295一、人脸检测原理简介人脸关键点检测，是输入一张人脸图片，模型会返回人脸关键点的一系列坐标，从而定位到人脸的关键信息。1.1 图像分类和回归的区别1.2 损失函数图像分类CrossEntropyLoss :信息熵的计算loss⁡j=− input [ class ]+log⁡(∑i=0Kexp⁡( input 

项目链接：https://aistudio.baidu.com/aistudio/projectdetail/19308771. 卷积神经网络简介1.1 AlexNet贡献：引入ReLU作为激活函数Dropout层Max PoolingGPU加速数据增强(截取、水平翻转)1.2 VGG1.3 GoogleNet全连接层对输入输出大小有限制，用池化层代替没有约束。1.4 ResNet残差结构解决梯度消失问题，多个路径前向传播。层数改变如图左下角，主要是为了减少计算开销

项目链接：【深度学习项目二】卷积神经网络LeNet实现minst数字识别1.分类任务介绍二分类、多分类、多标签2.图像分类目标和原理特征会遇到一些干扰：视角变化、形变、遮挡、背景干扰等神经网络发展过程：import paddleimport numpy as npimport matplotlib.pyplot as plt3. 数据准备继续应用框架中封装好的手写数字识别数据集。3.1 数据集加载和预处理# 数据预处理import paddle.vision.trans

深度学习开发的万能公式模式流程：import paddleimport numpy as npimport matplotlib.pyplot as plt2 数据准备2.1 数据加载和预处理import paddle.vision.transforms as T# 数据的加载和预处理transform = T.Normalize(mean=[127.5], std=[127.5]) #里面数值是根据数据集进行设置的#像素值分布0-255组成图片，差值比较大会影响loss，影