ML学习系列
文章平均质量分 92
记录分享学习ML有意思的知识
HERR_QQ
吃的多 怎么办
展开
-
[ML] Pytorch自学实战项目其4:基于学习(RNN)算法的车辆状态估计,展示归纳总结当前结果,以及展望下一步
之前一直有一个不太合理的错误,我的推理结果应该只有自车速度和Yawrate是合理的。计划但忘记了将比如加速度等量移出参考label。其中纵向速度认为和加速度yawrate和之前的速度有关yawrate认为和轮速度差、总线横向加速度、总线yawrate、方向盘转角、车速相关。其次就是对于RNN结构我们不应该使用BN层作处理,这里最好使用LN在sample的feature的特征维度上做归一化,因为我没有在训练前做数据的特征缩放所以在训练时在特征维度上要消除数量级的差异以便使用MSE函数。原创 2023-12-13 21:32:25 · 280 阅读 · 2 评论 -
[ML] Pytorch自学实战项目其3.2:超参数调优,估计车量Yawrate的RNN模型使用可视化工具TensorBoard&&HyperOpt调整超参数
本文为的后续笔记。之前整理了不同关于超参数的调整的内容,现在针对参数的调整,精简为参考该两篇文章,其中在Pytorch自学实战项目其3.0 中做过的调整继续保留,根据结果分析进行调整到本文为止,基本的处理就结束了,算是阶段性胜利,待训练一个周末后看结果决定下一步。原创 2023-12-08 18:40:15 · 394 阅读 · 0 评论 -
[ML] Pytorch自学实战项目其3.1:超参数调优 可视化工具TensorBoard用实际例子从零开始使用
使用Summary API(在pytorch下基本靠他)以下代码也是参考自链接可以画出自定义的图方法如下基本逻辑是:每一个循环用list元素来控超参,把原来使用超级参的东西放在循环内,每一个cycle设定一个writer,同时设定comment 来改文件夹名区分不同的循环的结果# 设置TensorBoard saving path。原创 2023-12-07 19:54:32 · 286 阅读 · 0 评论 -
[Algorithm] 深蓝学院BEV学习笔记第一章第二章笔记 更新中,本节理解不够深,学完整个课程再看
IPM :像素特征直接到BEV空间2Dto3D:LSS预测视锥深度通过内外参投影3Dto2D:通过tran用3dquery查2dfeature。原创 2023-12-04 23:48:52 · 319 阅读 · 0 评论 -
[ML]把机器学习数据特征缩放处理记录明白,详细记录BatchNorm1d层对于RNN 数据Shape的用法 用demo中实际例子说明
在学习数据处理时总是遇到几个不同的概念:我的理解如下而后向GPT求证。原创 2023-11-30 21:48:19 · 108 阅读 · 0 评论 -
[ML] Pytorch自学实战项目其3:神经网络RNN,学习的方法估算车辆yawrate,超参数调优学习。 不断更新中。。。
学习率(Learning Rate):影响: 学习率决定了权重更新的步长,过大的学习率可能导致不稳定的训练,而过小的学习率可能导致训练速度过慢。调整方法: 使用学习率调度(learning rate schedule)、自适应学习率算法(如Adam、Adagrad)或者手动调整学习率。权重衰减(Weight Decay):影响: 控制正则化项的大小,有助于防止过拟合。调整方法: 尝试不同的权重衰减系数,通常通过交叉验证或验证集的性能来选择最佳值。原创 2023-11-29 22:46:42 · 270 阅读 · 1 评论 -
[Algorithm] 深蓝学院第八节笔记 构建一个GPT模型
本文为第八节学习笔记,只记录重点笔记结合网上其他信息总结而成,不放出课件和代码,推荐购买课程可以学习到很多知识课前疑惑:1本章训练数据处理和调试见。原创 2023-11-26 22:30:32 · 179 阅读 · 0 评论 -
[ML] 深蓝学院transformer第7节学习笔记(重点一节)
深蓝学院transformer的学习原创 2023-10-29 23:20:43 · 147 阅读 · 1 评论 -
[ML] Pytorch自学实战项目其2:一个基于rosbag信息处理,使用神经网络RNN学习的方法估算车辆yawrate,不断优化和找bug,欢迎留言一起学习
要给到下一个batch的数据中,并在下一个批次的第一个时间步被使用。这是一种常见的处理方式,特别是在处理连续的数据或序列时。但,每个批次的数据是完全独立的序列(例如不同的文本句子),则要在每个批次开始时重置隐藏状态,以避免不同序列之间的信息混淆。这里再贴一段同样写在rnn问答文章里的gpt解释,我也是看了才悟了隐藏状态的权重学习问题:在RNN中,隐藏状态确实需要在训练过程中更新。但是,这种更新是基于每个批次(或序列)的反向传播,而不是基于整个训练过程的累积梯度。原创 2023-10-26 17:52:05 · 618 阅读 · 0 评论 -
[ML]关于RNN的笔记总结:关于RNN输出信息维度,隐藏状态在不同epoch和batch间的处理,和gpt的连续问答,记录在此,
非RNN基础,而是实际使用过程中的思考和遇到的问题,RNN基本说明教程可以跳转以下收集的关于rnn的链接。原创 2023-10-24 17:21:50 · 725 阅读 · 0 评论 -
[ML] 深蓝学院transformer第6节学习笔记
什么是注意力怎么运用注意力的结果为啥需要缩放kqv。原创 2023-10-23 00:11:54 · 202 阅读 · 0 评论 -
[ML] 小白素人第一个pytorch实战项目其1:一个基于rosbag信息处理,使用机器学习之神经网络方法估算yawrate
其中特征为t0时刻数据,label为t+1时刻数据 部分数据;示例见结尾根据数据需求自定义以下三个方法:定义神经网络定义超参数:学习率、一次灌入数据大小 batch_size 和训练循环:使用均方差损失函数、使用随即梯度下降定义训练循环和测试循环函数。原创 2023-09-27 19:23:46 · 489 阅读 · 3 评论 -
【ML】 环境配置问题:使用anaconda安装了pytorch 使用网页的jupyter可以import torch 但是vscode里建立的python脚本无法使用import torch
【代码】【ML】 环境配置问题:使用anaconda安装了pytorch 使用网页的jupyter可以import torch 但是vscode里建立的python脚本无法使用import torch。原创 2023-09-26 18:13:10 · 321 阅读 · 1 评论 -
学习笔记百科积累ML系列(持续更新)
Ml学习笔记Anaconda、Jupyter、Pytorch、TensorFlow链接: 转载Anaconda3、TensorFlow和keras简单安装方法(较详细)链接: 转载在Anaconda下安装Pytorch的超详细步骤链接: 转载60分钟快速入门 PyTorch原创 2023-09-10 00:36:53 · 107 阅读 · 0 评论