2024-03-05 学习笔记（Transformer基础理解，校验数据异常，Claude-3,模型压缩）

1.十分钟理解Transformer

摘要：Transformer是一种利用注意力机制来提高模型训练速度的深度学习模型。它由编码器和解码器两部分组成，其中编码器将输入文本进行编码，解码器将编码后的数据进行解码以得到翻译后的文本。编码器和解码器都由多个小模块组成，每个小模块包括自注意力机制和前馈神经网络。自注意力机制通过计算注意力得分来对输入进行加权求和，而前馈神经网络则通过线性变换和非线性激活函数对输入进行处理。Transformer还使用了多头注意力机制和位置编码来提高模型性能。

Raiden说：确实写的非常清晰，尤其是对于qkv的讲解，非常值得一看。

2.如何检验数据异常？

摘要：本文介绍了几种常用的数据异常检测方法，包括基于分布的方法、基于距离的方法、基于降维的方法。基于分布的方法包括3sigma、Z-score和boxplot。基于距离的方法包括KNN和COF。基于降维的方法包括PCA和One-Class SVM。

Raiden说：数据异常的检验，其实对于AI训练平台很重要，如何采用合适和方便的方法来帮助用户快速判断数据质量是今年着重优化点。

3.Claude 3来了，比GPT-4还强？

摘要：感谢您分享关于Anthropic发布的新一代AI模型系列Claude 3的文章摘要。该系列包括三个模型：Claude 3 Haiku、Claude 3 Sonnet和Claude 3 Opus。根据文章内容，Claude 3 Opus被称为最强大的模型，据称能够接近人类理解能力，并在一些基准测试中超过了GPT-4。同时，一些用户对Claude 3的人性化回复和其在长文本、图像和文件输入方面的表现也表示了兴趣。然而，还需要更多独立测试和用户反馈来验证Claude 3的实际性能表现。

Raiden说：看了下Monica，目前还没集成Claude 3.后续等monica集成后可以试试。不过顺便发现了Monica已经支持了Gemini,这个是比较新的大模型。

4.为什么图片识别要将彩色图像灰度化？

摘要：灰度化是将彩色图像转化为灰度图像的过程，通过使彩色图像的R、G、B分量相等来达到灰度化的目的。图像灰度化的目的是为了简化矩阵，提高运算速度。灰度化处理可以使用分量法、最大值法、平均值法或加权平均法等不同方式来实现。

Raiden说：这个没啥好多说的，比较浅显易懂。

5.深入浅出，深度学习模型压缩方法全面讲解

摘要：模型压缩是将大模型转化为小模型的算法，以适应嵌入式设备的有限算力和内存。模型压缩的收益包括减少计算和存储资源的占用。模型压缩的方法包括轻量化模型架构、模型剪枝和模型量化。轻量化模型架构涉及重新设计网络结构和训练模型。模型剪枝通过删除权重低于阈值的连接来减少模型的参数量。模型量化将浮点算法转换为定点算法来降低模型的存储和计算资源消耗。

Raiden说：这个文章更多的说明的是原理，可操作的方法还需要检索下。