weixin_59191169的博客

我的研究方向是显著性目标检测，毕业论文方向是基于Transformer的显著性目标检测研究，随着Transformer机制在自然语言方向逐渐取得巨大突破，有很多学者都把目光投向了计算机视觉方向，显然Transformer在计算机视觉方向也有巨大进展，带着这样的学习目的，我参加了昇思MindSpore技术公开课，希望对Transformer有一个更加深刻而全面的认识，可以更好地开展我的毕业设计。注意力机制的基本思想是在处理输入序列时，不同位置的信息被赋予不同的权重，以便网络更集中地关注对当前任务有用的部分。

随着技术的进步，大模型如OpenAI的GPT-4和Sora、Google的BERT和Gemini等已经展现出了惊人的能力-从理解和生成自然语言到创造逼真的图像及视频。了解当前主流的大模型，如GPT系列、BERT、Transformer等，学习它们的基本架构和工作原理。学习机器学习的基本概念、算法和模型，如线性回归、决策树、随机森林、支持向量机等。学习如何处理和准备数据，以适应大模型的需要，包括数据清洗、标注和增强等技术。学习模型优化技术，如模型压缩、量化、蒸馏等，以提高模型的效率和性能。