读研周报
文章平均质量分 97
明明真系叻
这个作者很懒,什么都没留下…
展开
-
第十五周:机器学习笔记
本周周报在机器学习的理论内容中,详细描述了attention matrix计算的各种优化形式,其中包括用人类自身的理解而诞生的Local Attention、Stride Attention、Global Attention、Clustering,也有通过机器自身通过学习而诞生Sinkhorn Sorting Network,最后还有简化attention matrix格式的Linformer。此外,周报在Pytorch学习中还补充了模型训练的细节和描述了如何利用GPU训练的过程。最后,在数学拓展部分,对s原创 2024-10-05 20:24:47 · 971 阅读 · 0 评论 -
第十四周:机器学习笔记
本周周报在机器学习的理论内容中,概述了Transformer里面Decoder的内容,其中包括Decoder的结构、autoregressive decoder(自回归解码器)以及non-autoregressive decoder(非自回归解码器),此外还讲述了Transformer 的训练过程,并在最后提供了序列到序列模型训练常用的Tips。在Pytorch代码学习中,本周报详细的讲述了训练模型的一些常用手段和流程,并通过代码实现了包括数据收集、模型搭建、模型训练、结果展示等过程。原创 2024-09-29 11:42:14 · 826 阅读 · 0 评论 -
第十三周:机器学习笔记
本周周报在机器学习的理论内容中,描述了Sequence to Sequence model的重要性以及使用的普遍性,其应用场景非常广泛,比如:语音识别、文本翻译、语音翻译、聊天机器人、Q&A(NPL)、语法辨析、多标签分类中的应用。文章通过介绍Seq2Seq,引出了Seq2Seq最常用的模型——Transformer,然后介绍了Transformer的结构以及深入探讨了Transformer encoder,其中包括encoder的功能、encoder的结构,此外还提及了残差连接(residual conn原创 2024-09-20 21:49:42 · 577 阅读 · 0 评论 -
第十二周:机器学习笔记
本周主要继续对RNN的更深层次内容进行了学习,例如学习了RNN的是如何train的、RNN特殊的性质以及如何解决RNN的特殊性质引发的vanish gradient问题,最后对RNN的应用进行了总结。此外,本周还继续对Pytorch进行了学习,主要学习了如何将一个数据集训练的模型通过调参应用到另一数据集中。最后,还对高斯分布的数学推导过程进行了研究学习。原创 2024-09-14 13:14:54 · 891 阅读 · 0 评论 -
第十一周:机器学习笔记
本周周报主要讲述了注意力机制中更加细节的内容,周报讲述了相关的复杂性如果通过多头注意力机制解决的方法,并讲述了注意力机制如果通过位置编码方式解决先后位置的问题。此外,本周周报在注意力机制的章节中,将self-attention与CNN和RNN进行了比较以及其在实际场景的应用。在RNN的章节中,本周报详细描述了RNN的概念、RNN的变形拓展、以及LSTM。然后,本周报在Pytorch的章节,讲述了优化器的概念以及原理,并在最后展示了优化器使用的代码。原创 2024-09-07 11:34:05 · 1514 阅读 · 0 评论 -
第十周:机器学习笔记
这一周作者主要对注意力机制进行了学习,其中了解了引入注意力机制的原因、注意力机制的使用场景以及注意力机制的原理,此外在pytorch的学习中,作者对三种计算损失函数的方式,比如,绝对平均值误差、均方误差、交叉熵损失进行了代码实战学习。原创 2024-08-31 01:33:31 · 1384 阅读 · 0 评论 -
第九周:机器学习笔记
本周主要对李宏毅的机器学习视频进行了学习,其中学习了CNN的一个特殊的网络结构——spatial Transformer,学会了其怎么完成平移、缩放以及旋转的原理以及期间了解到了Interpolation(插值)算法,最后还了解了其应用场景。此外,继续对Pytorch进行了学习,重点学习了线性层,了解了其改变shape的作用,然后还了解了其他层,例如,归一化层、循环层等特定的网络结构。最后,做了一个小项目,把CIFAR-10的Model复现出来,并学会了使用Sequential。原创 2024-08-23 17:48:13 · 1409 阅读 · 0 评论 -
第八周:机器学习笔记
本周学习对李宏毅机器学习视频与Pytorch的CNN部分知识进行了学习,在李宏毅的机器学习中,主要进行了理论方面的知识,了解到了机器学习的细节内容以及对前几周验证集知识的补充。此外,在Pytorch中对CNN进行了继续的学习,进行了卷积层、最大池化层和非线性激活层的代码实战,并在tensorboard中图像化的显示了各层操作后图片的变化。原创 2024-08-18 19:33:47 · 882 阅读 · 0 评论 -
第七周:机器学习周报
这一周对CNN进行了理论上的学习还有代码上的学习,在理论上通过李宏毅的机器学习视频学习了CNN的理论知识,在代码实践上学会了如何搭建nn,并对基本的输入-卷积计算-输出过程进行了理解和实践。原创 2024-08-08 06:17:46 · 1156 阅读 · 0 评论 -
第六周:机器学习周报
这一周对机器学习进行了学习,其中学会了如何自动调整学习率中调整参数的知识进行了,对RMS与RMSProp的算法进行了学习和理解。此外,还继续学习了Pytorch,学会了torchvision与DataLoader的使用,了解了其中参数的作用。原创 2024-07-31 02:55:40 · 834 阅读 · 0 评论 -
第五周:机器学习笔记
这一周继续进行了机器学习,主要学习了如何处理神经网络训练不起来的情况,其中深入了解了局部最小点和鞍点与动量以及批次的概念以及细节内容,此外还对Pytorch进行了学习,学习了Transforms的结构以及用法还了解了常见的Transforms。原创 2024-07-26 02:35:22 · 932 阅读 · 0 评论 -
第四周:机器学习笔记
这一周对李宏毅机器学习内容进行了更进一步的学习,学习了机器学习任务攻略。此外还对贝叶斯定理进行了更进一步的拓展学习,加深了对贝叶斯定理的理解。最后对Pytorch进行了学习,学会使用了Tensorboard。比如说有一个家人,有父亲、母亲、和一个正在读初中的儿子母亲有一天打扫房间卫生,发现儿子的房间多了一个打火机,于是她就会怀疑在小学的儿子是不是在外面结识了社会人士学会抽烟了。出于对儿子的担心于是她咨询她的朋友,她的朋友是一名数学家,于是她的朋友告诉她就可以用贝叶斯定理来计算她儿子抽烟的几率有多大。原创 2024-07-25 09:55:35 · 1106 阅读 · 0 评论 -
第三周:机器学习笔记
这一周学习了classification的宝可梦案例,对Classification的应用场景、Classification的实现步骤、以及对Probability Distribution(概率分布),如:高斯分布、和一些概率论的基础知识进行了学习。此外还学习了Logistic Regression(逻辑回归),学习了Logistic Regression的三个步骤和它的限制,并理清了Generative(生成模型) V.S. Discriminative(判别模型)的区别以及优劣势,其中学习到了贝叶斯公原创 2024-07-14 21:21:42 · 1119 阅读 · 0 评论 -
第二周:机器学习笔记
这周主要对Deep Learning进行了进一步的学习,内容包括反向传播算法的过程原理。还学习了regression,根据宝可梦的案例学习到了Loss中使用正则化的技巧。此还继续学习了Pytorch课程,包括学习Dataset和Dataloader各自的功能,以及Dataset的代码实战。原创 2024-07-07 04:06:18 · 1234 阅读 · 0 评论 -
第一周:机器学习笔记
这周主要学习了机器学习的一些基础知识,比如:机器的基本概念、training三步骤,并在最后进行了总结。此外,还学习了深度学习的知识,了解了sigmoid函数和ReLU函数这两个重要的激活函数,并且学习了深度学习的三个步骤。最后观看视频完成了pytorch的环境配置,并了解到了dir()与help()这两个对pytorch学习最为重要的函数。机器学习实际上并没有我们想象中的那么复杂,其实际上就是寻找一个函数输入的过程。原创 2024-06-30 20:55:41 · 1337 阅读 · 0 评论