常用工程技术积累-（5）

于 2022-04-06 21:02:15 发布
阅读量1.2k 收藏 1
点赞数
分类专栏： 博士科研 互联网求职 文章标签： 深度学习 pytorch 博士 计算机
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/david8766/article/details/123999777
版权

神经网络的logits

参考资料1
logits就是最终的全连接层的输出(在未经过softmax之前的，就是未归一化的概率)
在这里插入图片描述

Pytorch踩坑记：赋值、浅拷贝、深拷贝三者的区别以及model.state_dict()和model.load_state_dict()的坑点

参考链接2
对python直接赋值、浅拷贝和深度拷贝也要了解

python中view和pytorch的view和view_as

参考资料3

pytorch保存模型

在这里插入图片描述

python三元表达式

i = 5 if a > 7 else 0

SGD优化器理论理解

以pytorch的torch.optim.SGD(params,
lr=,
momentum=0,
dampening=0,
weight_decay=0,
nesterov=False)
为例进行解释

在这里插入图片描述
Optimizer.zero_grad()让w的偏导数为0；下面代码的注释可以好好理解

在这里插入图片描述

Momentum作用
在这里插入图片描述
超参数momentum与weight-decay作用
参考资料5

在这里插入图片描述

git切换branch进行git push

参考资料6
git branch查看当前分支
git checkout 分支名：切换分支（已有分支）

python中如何连接两个生成器

参考资料7
通过chain()函数
from itertools import chain
在这里插入图片描述

pytorch实现不同网络层分配不同的学习率

参考资料8
在这里插入图片描述

python yield p

参考链接9
在这里插入图片描述

focus_clam
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
史上最全的电子工程师常用工具.docx
10-23
5. **静电手环**：静电手环用于释放人体积累的静电，保护敏感的电子芯片免受静电损伤。通常带有导电带、插头或鳄鱼夹，确保人体与地线连通。 6. **热风枪**：热风枪主要用于元件的焊接和拆卸，通过发热电阻丝产生的...
测绘-初级工程师技术工作报告.doc
11-24
在工程测量方面，工程师完成了400宗以上的放样任务，涉及土方量计算和边桩放样，积累了丰富的实践经验，例如在土方量计算中考虑多种因素选择最佳方法，以及在放样中灵活选择测站点和放样点的方法。 此外，工程师还...
关于电子与通信工程-通信技术-通信传播.pdf
最新发布
11-11
为了实现有效的抗干扰接地，有几种常用的技术策略。一是减少地线阻抗，这可以通过缩短导线长度、使用低电感的铜片地线和优化导线间的间距来实现。在低频电路中，增大地线截面和减小长度也能降低电阻阻抗。二是减少地...
基因工程常用受体细胞(共58张PPT).pptx
11-16
基因工程是一种利用现代生物技术对生物体的遗传物质进行改造，以实现特定目的的技术。在这个过程中，选择合适的受体细胞至关重要。受体细胞是接受外源基因并进行表达的细胞，它们的选择直接影响到基因工程的成功与否...
环境工程CAD技术基础教学PPT(与“显示”相关共331张).pptx
11-14
环境工程CAD技术基础教学PPT主要讲解了AutoCAD在环境工程设计中的应用，涵盖了从基本概念到具体操作的多个方面。AutoCAD是一款广泛应用于工程设计领域的计算机辅助设计软件，能够大大提高设计效率和图纸质量。 首先...
Action Recognition-Temporal Attentive Alignment for Large-Scale Video Domain Adaptation——ICCV2019
LetItBe的博客
07-17 5012
Abstract image-based domain adaptation, domain shift in videos, Two large-scale DA datasets (UCF-HMDB_full, Kinetics-Gameplay) Introduction videos can suffer from domain discrepancy along both the spatial and temporal directions. Claim的两个点: Conclusion th.
生成模型——NVAE: A Deep Hierarchical Variational Autoencoder——arxiv2020.07
LetItBe的博客
07-14 3616
VAE相关改进 VAE的相关改进：1）VAE和GAN结合，GAN的缺点是训练不稳定；2）VAE和flow模型结合；3）VQ-VAE NVAE Nouveau VAE，包含了多尺度架构、可分离卷积、swish 激活函数、flow 模型等 自回归分布 将隐变量分组，针对组间 多尺度设计 其他性能提升技巧 BN层改进（改成Instance Normalization或Weight Normalization）；谱正则化的应用（在每一个卷积层加谱正则化）；flow模型增强分布；节省显存的技巧 参考材料 扩展.
常用技术积累-（4）
LetItBe的博客
03-24 2665
attention和self-attention和co-attention Attention和self-attention其具体计算过程是一样的，只是计算对象发生了变化而已。 attention是source对target的attention， 而self attention 是source 对source的attention。 参考材料1 co-attention和attention 参考材料2 *args和**kwargs resnet32在cifar100上训练 参考材料3 参考材
持续学习——Automatic Recall Machines-Internal Replay, Continual Learning and the Brain——arxiv202006
LetItBe的博客
07-06 2366
Abstract Replay-based methods, present a method where these auxiliary samples are generated on the fly（出发点，就是减少内存开销），也加入了神经科学的启发来加强motivation。 Introduction learn from sequential or non-stationary data的能力（人和神经网络相比），谈到replay这一类的方法；The goal of this work, Aut.
NeurIPS2021-DualNet: Continual Learning, Fast and Slow
LetItBe的博客
02-24 2297
Abstract 神经科学的理论complementary learning systems; fast学当前具体任务信息（supervised），slow学通用的(self-supervised) Introduction the main focus of this study is exploring how the CLS theory can motivate a general continual learning framework with a better trade-off betwe.
论文阅读-TNNLS2021-Elastic Knowledge Distillation by Learning from Recollection
LetItBe的博客
02-22 2286
Abstract 训练过程中历史记忆中的有效信息，来帮助模型学习；recollection构建和使用；不同capacity和不同训练阶段来建立不同的recollection；similarity-based elastic KD 算法(弹性知识蒸馏)； Introduction 之前每个training epoch的输出(training history),每一个对应一个recollection; How to build a suitable recollection; 两点观点: 1. resNet-1
2020-12-28 zotero (zotfile+onedrive)+windows+ipad（apple pencil）+mac 文献阅读同步工具
LetItBe的博客
12-28 2108
在网上搜索了很多教程，总结下经验和实验成功的比较好的教程。下面给出了链接，最终配置成功的是教程一的zotfile配合同步盘（同步盘采用的是OneDrive）。OneDrive可以使用教育用户注册，空间更大。 教程一 教程二 ...
动作识别——action recognition新手入门
LetItBe的博客
07-06 1860
定义 行为识别似乎是图像分类任务到多个帧的扩展，然后聚合来自每帧的预测 背景 传统方法，视频输入=》特征提取=》特征融合=》特征分类=》分类结果 深度学习方法，单流法，双流法，基于骨架 特征提取，ROI提取表示 传统方法 DT（Dense Trajectories）算法,是利用光流场来获得视频序列中的轨迹，在沿着轨迹提取轨迹形状特征HOF，HOG，MHB特征，然后利用BoF(Bag of Features)方法对特征进行编码，最后基于编码结果训练SVM分类器。 iDT算法，基于DT算法进行了以下几点的改进：
动作识别——Multi-Model Domain Adaptation for Fine-Grained Action Recognition——CVPR2020 oral
LetItBe的博客
07-06 1508
Abstract Fine-grained action recognition datasets exhibit environmental bias, where multiple video sequences are captured from a limited number of environments. Multi-modal nature of video（视频的多模态性），提出的方法一个是multi-modal self-supervision，还有一个是adversarial tra.
持续学习——Continual Unsupervised Representation Learning——NeurIPS2019
LetItBe的博客
07-22 531
Abstract Unsupervised continual learning (learning representations without any knowledge about task identity) Introduction 挖坑写法，however, most of these techniques have focused on a sequence of tasks in which both the identity of the task (task label) and b.
如何阅读一篇论文（从事计算机专业）
LetItBe的博客
06-29 516
如何阅读一篇论文三步走第一步第二步第三步参考博客和资料 三步走 第一步 花几分钟粗略地读abstract, introduction, sub-introduction of a new section and the conclusion. 对reference快速扫一遍。是否细读的五个标准： 第二步 首先关注图表，然后是论文的主要要点（避免例如证明的细节），要记下主要的references 第三步 仔细检查每一个证明、假设和肯定。在这一步，读者还需要列出这篇文章的优点和弱点，重点关注。（新idea的源
持续学习——Neural Topic Modeling with Continual Lifelong Learning——ICML2020
LetItBe的博客
07-14 511
Abstract continual learning+ unsupervised topic modeling《Lifelong machine learning for natural language processing, EMNLP2016》《Topic modeling using topics from many domains, lifelong learning and big data， ICML2014》 难点data sparsity（in a small collection ..
互联网求职（算法）-中文简历制作
LetItBe的博客
02-15 476
互联网求职（算法）-中文简历制作
MCU开发工程职业如何成为技术总监？
08-23
### 回答1： MCU开发工程师需要掌握以下技术和能力： 1. 嵌入式系统基础知识：理解嵌入式系统的硬件架构和软件开发原理，包括CPU、内存、外设等方面的知识。 2. MCU芯片架构和寄存器编程：了解不同厂家的MCU芯片架构和寄存器编程方式，能够进行芯片的初始化、配置和控制。 3. C语言编程：掌握C语言的基本语法和常用库函数，能够编写高效、可靠的嵌入式软件程序。 4. 汇编语言编程：理解汇编语言的基本语法和指令集，能够进行底层的硬件控制和优化。 5. 通信协议和接口：熟悉常用的通信协议和接口，如UART、SPI、I2C、CAN、USB等，能够进行通信模块的开发和调试。 6. 电路设计和调试：了解基本的电路设计和调试原理，能够进行硬件电路的设计和调试。 7. 软件调试和优化：能够运用调试工具和技巧，对嵌入式软件进行调试和优化，保证系统稳定和性能优良。 8. 团队协作和沟通：具备良好的团队协作和沟通能力，能够与团队成员、客户和上级进行有效的沟通和合作。 以上是MCU开发工程师所需要具备的技术和能力，这些技能的掌握程度和实际应用能力将决定MCU开发工程师的技术总监和管理职位的晋升。 ### 回答2： 想要成为MCU开发工程的技术总监，需要具备以下几个关键要素。 首先，学习和积累必要的知识和技能是关键。MCU开发涉及多个领域的知识，包括微控制器原理、数字电路设计、嵌入式系统编程等。通过自学、培训和相关学位课程，掌握这些知识和技能是成为MCU技术总监的基础。 其次，需要深入实践和积累丰富的工作经验。MCU开发是一个实践导向的工作，只有通过实际项目的经验才能真正掌握技术和解决实际问题。在实践过程中，应不断挑战自己，主动学习新技术和解决方案。 此外，建立良好的人际关系和团队合作能力也非常重要。技术总监除了担任技术领导者的角色，还需要与其他部门和团队紧密合作。与同事建立良好的关系，有效沟通和合作，对于工作的顺利进行至关重要。 最后，具备领导能力和战略思维也是成为技术总监的重要素质之一。MCU开发工程的技术总监需要带领团队解决技术难题，制定项目计划并确保实施的顺利进行。同时，对技术的未来发展和公司战略有清晰的认识和规划，能够为公司提供有前瞻性的技术建议。 总之，成为MCU开发工程的技术总监需要综合运用知识、技能、经验和素质。通过持续学习和实践，不断提升自己的专业水平和领导能力，有机会实现这一目标。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值