- 博客(6)
- 收藏
- 关注
RSS订阅原创 多头自注意力机制
在多头自注意力机制中，每个注意力头计算出一组注意力权重，并将这些权重与相应的值进行加权求和，从而生成每个位置的输出。计算注意力权重通常通过将查询（Query）与键（Key）进行点积，然后通过缩放因子（例如，分母中的根号 dk）和 softmax 函数将点积的结果转化为注意力权重。多头自注意力机制包括多个注意力头，每个头都有自己的权重矩阵，用于计算每个位置与其他所有位置的注意力分数。对于每个注意力头，计算该头的注意力权重。对于每个位置，将其注意力权重与相应位置的值进行加权求和，得到该位置的注意力输出。
2023-08-13 22:48:03
1104
1
原创 机器学习方法不同的角度分类
机器学习是一门涉及多种学习范式、数据类型和模型类型的领域，近几年，机器学习在人工智能领域取得了显著的发展，主要表现在以下几个方面：深度学习的崛起： 深度学习是机器学习的一个重要分支，它通过构建多层神经网络模型来学习复杂的特征表示。深度学习在计算机视觉、自然语言处理和语音识别等领域取得了突破性进展，带来了许多重大的应用。大数据和计算能力的提升： 随着大数据技术的不断发展，收集和存储大规模数据变得更加容易。同时，计算能力的提升使得复杂的机器学习模型和算法得以实现和应用，进一步推动了机器学习的发展。
2023-08-05 17:55:12
964
原创 集成电路在计算、通信和存储3个领域的应用
它们的设计、制造和集成技术不断发展，推动着计算、通信和存储技术的进步和创新，促使设备变得更小、更强大、更高效。- 通信芯片：包括调制解调器（Modem）、网络接口控制器（NIC）、无线芯片等，用于数据传输和通信网络的连接与管理。- 无线通信芯片：如Wi-Fi芯片、蓝牙芯片、移动通信芯片等，广泛应用于手机、智能家居、物联网设备等领域。- 芯片组（Chipset）：包括北桥和南桥芯片，用于连接和协调计算机的各个部件，如内存、显卡、硬盘等。- 存储芯片：包括闪存芯片、内存芯片等，用于数据存储和读写操作。
2023-08-04 16:41:07
472
原创 如何学习人工智能——学习框架
深度学习框架：学习使用常见的深度学习框架如TensorFlow或PyTorch。- 学习马尔可夫决策过程（MDP）、值函数、策略梯度等强化学习基本概念。- 数据结构和算法：理解常用的数据结构和算法，优化AI应用的性能。- 博客和论坛：查找相关领域的博客和论坛，深入交流和学习。- 了解AI在不同领域（如医疗、金融、交通等）的应用案例。- CNN、RNN、LSTM、GAN等常见深度学习模型。- 书籍：《深度学习》、《机器学习实战》等经典书籍。- 监督学习、无监督学习、强化学习的概念和基本算法。
2023-08-04 16:36:48
135
1
XLNet Generalized Autoregressive Pretraining for Language Unders
2023-08-07
HuggingGPT Solving AI Tasks with ChatGPT and its Friends in Hugg
2023-07-08
AComprehensiveSurveyonPretrainedFoundationModelsAHistoryfromBERT
2023-07-08
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人