周报
文章平均质量分 96
weixin_51454889
这个作者很懒,什么都没留下…
展开
-
机器学习课程学习周报七
本周的学习重点是Transformer模型,涵盖了其编码器和解码器的结构与功能。我详细探讨了自注意力机制、多头自注意力、残差连接、层归一化等核心概念。此外,还比较了自回归和非自回归解码器的优缺点,以及编码器-解码器注意力在信息传递中的作用。通过这些学习,我对Transformer在序列到序列任务中的应用有了更深入的理解。一般的序列到序列模型会分成编码器Encoder)和解码器Decoder),编码器负责处理输入的序列,再把处理好的结果“丢”给解码器,由解码器决定要输出的序列。原创 2024-08-11 15:45:36 · 634 阅读 · 0 评论 -
机器学习课程学习周报六
本周的学习内容主要围绕循环神经网络(RNN)及其变体展开,包括简单循环神经网络、Elman网络、Jordan网络、双向循环神经网络(Bi-RNN)和长短期记忆网络(LSTM)。我详细讨论了每种网络的结构和工作原理,特别是LSTM的门机制及其在处理梯度消失的优势。通过具体的例子和数学推导,我深入理解了这些网络在实际应用中的操作过程和效果。循环神经网络)是带有记忆的神经网络,每一个隐藏层中的神经元产生输出的时候,该输出会被存到记忆元。原创 2024-07-31 08:00:00 · 864 阅读 · 0 评论 -
机器学习课程学习周报五
在本周的学习中,我深入研究了机器学习模型中的向量序列输入和自注意力机制。首先,我探讨了文字和语音的向量表达方法,了解了one-hot编码和词嵌入在文字处理中的应用,以及窗口和帧移在语音处理中的概念。接着,我详细分析了自注意力机制的理论和运作过程,包括点积和相加两种计算关联性的方法,以及查询-键-值模式的应用。此外,我学习了矩阵运算中如何实现自注意力机制,并进一步研究了多头自注意力的原理和优势。最后,我简要介绍了位置编码在自注意力层中的作用。原创 2024-07-24 16:16:03 · 880 阅读 · 0 评论 -
机器学习课程学习周报四
本周的学习主要集中在卷积神经网络(CNN)和贝叶斯理论的基本概念和应用上。首先,深入探讨了卷积神经网络的架构,包括卷积层、感受野、参数共享和下采样等核心概念,并解释了这些技术如何提高图像识别的效率和准确性。接着,学习了贝叶斯定理及其在分类问题中的应用,详细介绍了朴素贝叶斯分类器的原理和实现方法。通过这些学习,我对机器学习中的关键技术和理论有了更深入的理解。卷积神经网络是一种非常典型的网络架构,常用于图像分类等任务。原创 2024-07-21 16:47:29 · 986 阅读 · 0 评论 -
机器学习课程学习周报三
本周的学习主要集中在以下几个方面:损失函数在训练集和测试集上的表现、优化问题及其解决方法、过拟合与模型复杂度的平衡、批量和动量的使用、自动调整学习率的方法以及学习率调度策略。具体内容包括模型偏差和优化问题的区分及解决、过拟合现象的识别和处理、局部极小值与鞍点的定义和影响、动量法在梯度下降中的应用、AdaGrad和RMSprop等自适应学习率方法、Adam优化器的原理及其优势,以及学习率衰减策略。交叉熵的推导个人感觉比较重要,将在下周进行推导,同时下周将开启对卷积神经网络的学习。原创 2024-07-14 16:33:51 · 767 阅读 · 1 评论 -
机器学习课程学习周报二
本周在机器学习部分主要学习了PyTorch的基础用法,手推了反向传播的过程以及使用深度学习的方法完成一个回归问题。在docker的学习部分,开始学习docker的原理部分,了解了docker的联合文件系统及其镜像加载的原理,并实践了使用容器数据卷达到宿主机与容器内数据的同步与持久化,最后使用dockerfile构建一个自己的docker镜像文件。下周预计学习局部极小值与鞍点,批量与动量,自适应学习率,学习率调度等小节。原创 2024-07-05 09:08:06 · 726 阅读 · 1 评论 -
机器学习课程学习周报一
本周的学习内容主要围绕两方面,一个是李宏毅机器学习课程的第一章的学习,其中主要包括深度学习及术语的基本概念和线性模型。二是对docker容器化技术的基础学习,主要是了解docker的基本概念和简单命令。原创 2024-06-29 20:55:39 · 1126 阅读 · 0 评论