- 博客(4)
- 收藏
- 关注
RSS订阅原创 神经网络与深度学习第四次总结
ViT证明了：在大规模预训练（如JFT-300M）的前提下，纯Transformer架构在图像分类任务上可以超越最先进的CNN（如BiT、EfficientNet）。将用户的问题作为上文的一部分输入模型，模型就会根据其训练材料中的知识，以“接龙”的方式生成答案。这些模型的共同特点是：参数规模巨大（从数十亿到万亿级别），训练数据量庞大（TB级别甚至PB级），具备强大的泛化能力和零样本学习能力。预训练的ViT已经具备强大的特征提取能力，但下游任务（如医学图像分类、卫星图像识别）的数据分布与预训练数据不同。
2026-06-07 18:02:59
415
原创 哈工大神经网络与深度学习第三次总结
在Transformer之前，主流的序列转换模型（Sequence Transduction Models）大多基于复杂的RNN或LSTM，配合编码器-解码器结构。的（即打乱输入顺序，输出也会相应打乱，但单独一个词的表示不会因为位置而改变）。（Teacher Forcing），即输入正确的目标词序列（但通过掩码确保不能看到未来词），而不是使用自己的预测作为输入。相比之前的先进模型（GNMT、ConvS2S等），Transformer在更低的训练成本下取得了更高的BLEU分数。个词之后的词（未来信息）。
2026-05-31 20:37:55
390
原创 哈工大神经网络与深度学习第二次总结
自 ImageNet 竞赛停办后，COCO 竞赛已成为目标检测、分割领域最权威的标杆，几乎所有现代检测模型（如 Mask R-CNN、YOLO 系列）都会在 COCO 上报告性能。（You Only Look Once）：彻底摒弃候选区域的概念，将检测视为回归问题，一次前向传播同时预测所有物体的类别和位置，速度极快。表示整体预测正确的比例。深度学习是数据驱动的学科，高质量的数据集是模型成功的基石。：引入区域建议网络（RPN），将候选区域的生成也融入神经网络，实现端到端的检测，成为两阶段检测器的巅峰。
2026-05-24 17:21:38
349
原创 深度学习与神经网络：第二周学习总结
本周从最基础的线性模型开始，逐步过渡到神经网络的核心结构：神经元模型、感知机、多层感知机以及误差反传算法。同时补充了卷积神经网络的基本原理和经典架构。这些知识是深度学习的基石，为后续学习更复杂的模型（如Transformer、大语言模型、具身智能等）奠定了坚实的理论基础。
2026-05-16 21:42:47
575
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人