公众号内容拓展学习笔记（2021.3.21）

最新推荐文章于 2024-03-07 14:15:40 发布
最新推荐文章于 2024-03-07 14:15:40 发布
阅读量133 收藏
点赞数
分类专栏： 公众号学习日记 文章标签： 人工智能 深度学习 计算机视觉 学习笔记 公众号内容
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/xiaoxuebajie/article/details/115046163
版权

公众号内容拓展学习笔记（2021.3.21）

📎 今日要点

  1. 2021年！955互联网公司白名单来了 ⭐️

    软件开发工程师平均薪资，找工作的时候可以参考

  2. 深入探讨：为什么要做特征归一化/标准化？ ⭐️

    有关特征归一化比较详尽的解释说明

  3. 如何使ResNet优于EfficentNet？改进训练方法和扩展策略 ⭐️⭐️⭐️

    • 论文：Revisiting ResNets: Improved Training and Scaling Strategies

    • 主要内容：针对广泛使用的现代训练和正则化方法，应用于ResNet，性能提升情况，以及对其在不同子领域的提高。

    • 核心点：

      • 扩展策略
        • 在过拟合可发生的训练设置下扩展模型深度（否则扩展宽度更可取）
        • 以更慢的速度扩展图像分辨率
      • 训练方法：多种方法的集成，权重衰减，标签平滑，dropout和随机深度，RandAugment，这部分提升较大，视觉比赛中也较为常用的改进
      • 网络架构部分：
        • Squeeze-and-Excitation
        • ResNet-D

  4. Google综述：细数Transformer模型的17大高效变种 ⭐️⭐️⭐️

    • 论文：Efficient Transformers: A Survey
    • 主要内容：针对一类X-former模型，例如Reformer, Linformer, Performer, Longformer为例，这些对原版Transformer做了改进，提高了其计算和内存的效率。

  5. 【面经】字节跳动-商业产品经理实习生-一二三面（已offer） ⭐️

    简单看看，面经

📎 Others

  • 喜欢的朋友请点点 star
  • 关注我的CSDN博客
  • 关注我的哔哩哔哩
  • 关注我的公众号CV伴读社

在这里插入图片描述

CV_七少
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
DL-Paper精读：Revisiting ResNets
星月野的博客
04-19 595
Revisiting ResNets: Improved Training and Scaling Strategies https://arxiv.org/abs/2103.07579v1 Background 影响一个神经网络模型的认知能力的主要因素，可以被粗略的分为以下几个部分： 结构（architecture）：关于网络结构的改进工作，一直以来最受人关注，著名的工作包括：AlexNet，VGG，ResNet，Inception，ResNext等。近两年，一大批基于模型结构自动搜索（NAS）的
Revisiting Salient Object Detection: Simultaneous Detection, Ranking, and Subitizing of Multiple Sal
qq_33964352的博客
11-12 1219
问题： 作者认为，显著性目标检测领域迄今为止的工作解决的是一个相当病态的问题。即不同的人对于什么是显著性目标没有一个普遍的一致意见。这意味着一些目标会比另一些目标更加显著，并且不同的显著性目标中存在着一个相对排名。 本文方法： 本文方法解决了考虑了相对排名这个更普遍的问题，并且提出了适合于衡量该问题的数据与度量方法，本文解决方案是基于相对显著性和分段式细化的分层表示的深度网络。该网络也可以解...
Revisiting ResNets: Improved Training and Scaling Strategies
h137437的博客
04-13 789
ResNet-RSAbstract1 Introduction2. Characterizing Improvements on ImageNet4. MethodologyExperimentsConclusion 备注： 如有侵权，立即删除 code: https://github.com/tensorflow/tpu/tree/master/models/official/resnet/resnet_rs source: 2021 Abstract 新的计算机视觉架构占据了焦点，但模型架构的影响往往与
Revisiting ResNets: Improved Training andScaling Strategies重新审视ResNets：改进的训练和扩展策略
weixin_43238909的博客
03-07 1004
和 数据扩充显著提高了泛化能力。虽然在短期的非正规训练设置中对体系结构进行基准测试有助于与之前的工作进行公平的比较，但尚不清楚体系结构的改进是否能在更大范围内持续并改进训练设置。我们设想，未来成功的架构将通过与硬件的共同设计而出现，特别是在资源紧张的情况 下，如手机。在小规模制度中发现的缩放策略（例如，在小模型上或很少的训练epoch）可能无法推广到更大的模型或更长的训练迭代。时期时采用宽度缩放的工作一致，我们不定我们的缩放策 略如何应用于需要更大图像分辨率的任务（例如检测和分割），并将其留给未来的工作。
Revisiting ResNets: Improved Training and Scaling Strategies论文简述
weixin_42638415的博客
04-01 644
这篇论文刚开头就说到现如今人们对于计算机视觉架构具有非常高的关注，但其实每一次新的SOTA的模型架构，其实都经常同时改变训练方法学和缩放策略相结合。所以说，这篇论文就重新审视思考了resnet这一经典的模型架构。 然后，作者对比了现在非常火的高性能的用nas搜出来的网络结构effcientnet，与resnet对比，effcientnet到底为什么比resnet强，是因为模型架构吗?还是训练策略，数据增强等tricks。然后，就有了下图： 横坐标为模型训练一次所需时间...
Tensorflow 模型量化 （Quantizing deep convolutional networks for efficient inference: A whitepaper 译文）
热门推荐
妙猪的专栏
07-30 3万+
最近Tensorflow官方发布了一份《Quantizing deep convolutional networks for efficient inference》白皮书，共36页，讲解了基于Tensorflow的模型量化的有关知识。由于最近也在学习模型量化这部分工作，所以计划对这份文档翻译一下，同时share给大家。由于工作时间所限，我尽量每天翻译一些，如果有误解的地方，也请大家批评指正。 ...
MATLAB学习笔记.zip
最新发布
04-27
MATLAB学习笔记.zipMATLAB学习笔记.zipMATLAB学习笔记.zipMATLAB学习笔记.zipMATLAB学习笔记.zipMATLAB学习笔记.zipMATLAB学习笔记.zipMATLAB学习笔记.zipMATLAB学习笔记.zipMATLAB学习笔记.zipMATLAB学习笔记....
Swift学习笔记含项目代码.zip
02-18
Swift学习笔记含项目代码.zipSwift学习笔记含项目代码.zipSwift学习笔记含项目代码.zipSwift学习笔记含项目代码.zipSwift学习笔记含项目代码.zipSwift学习笔记含项目代码.zipSwift学习笔记含项目代码.zipSwift学习...
微信公众号运营策略分析项目笔记.pdf
08-27
微信公众号运营策略
一个java基础项目(学习笔记).zip
02-18
一个java基础项目(学习笔记).zip一个java基础项目(学习笔记).zip一个java基础项目(学习笔记).zip一个java基础项目(学习笔记).zip一个java基础项目(学习笔记).zip一个java基础项目(学习笔记).zip一个java基础项目...
计算机三级嵌入式学习笔记汇总.pdf
08-31
"计算机三级嵌入式学习笔记汇总.pdf" 本资源是一个关于计算机三级嵌入式学习笔记的汇总，涵盖了嵌入式系统概论、嵌入式系统开发的基础知识、数字媒体基础、网络通信技术等方面的知识点。 嵌入式系统概论 嵌入式...
RePr Improved Training of Convolutional Filters阅读翻译
会意的博客
05-21 4240
论文地址：https://arxiv.org/abs/1811.07275 CVPR2019的Oral Paper 代码：作者目前没公布，Reddit上对于这篇论文的讨论很激烈┓( ´∀` )┏，对于代码复现很多人都有问题（比如：[复现1](https://github.com/siahuat0727/RePr)），加上作者目前还没开源代码。所以想看戏的可以去→_→
ResNets王者回归！谷歌、伯克利联合发文：它当初输给EfficientNets不是架构问题...
深度学习技术前沿
03-18 702
作者 | 陈大鑫、青暮转自：AI科技评论谷歌大脑和UC伯克利近期联合发表了一篇论文，这篇论文对何恺明等人2015年发表的ResNet为骨干的ResNets系列网络做了重新的回顾和研究。论文...
公众号内容拓展学习笔记（2022.3.14）
xiaoxuebajie的博客
03-14 5897
公众号内容拓展学习笔记（2022.3.14） 📎 今日要点 PlaneTR：一种用于提取场景中3D平面特征的Transformer(ICCV 2021) ⭐️⭐️ Abstract: PlaneTR：一种用于提取场景中3D平面特征的Transformer Paper: PlaneTR: Structure-Guided Transformers for 3D Plane Recovery Code: https://github.com/IceTTTb/PlaneTR3D Tips
公众号内容拓展学习笔记（2022.3.17）
xiaoxuebajie的博客
03-17 4440
公众号内容拓展学习笔记（2022.3.17） 📎 今日要点 一个框架统一Siamese自监督学习，清华、商汤提出简洁、有效梯度形式，实现SOTA ⭐️⭐️ Abstract: 一个框架统一Siamese自监督学习，清华、商汤提出简洁、有效梯度形式，实现SOTA Paper: Exploring the Equivalence of Siamese Self-Supervised Learning via A Unified Gradient Framework Tips: 来自清
公众号内容拓展学习笔记（2022.3.30）
xiaoxuebajie的博客
03-30 3872
公众号内容拓展学习笔记（2022.3.30） 📎 今日要点 CVPR 2022｜基于GAN逆映射的高保真图像编辑算法 by 港科大&腾讯AI Lab开源 ⭐️⭐️ Abstract: 基于GAN逆映射的高保真图像编辑算法 Paper: High-Fidelity GAN Inversion for Image Attribute Editing Code: https://github.com/Tengfei-Wang/HFGI Tips: 本文提出了一种名为信息参照（i
公众号内容拓展学习笔记（2022.3.4）
xiaoxuebajie的博客
03-04 3838
公众号内容拓展学习笔记（2022.3.4） 📎 今日要点 2022最新！基于深度transformer的时间序列异常检测模型 ⭐️⭐️ Abstract: 2022最新！基于深度transformer的时间序列异常检测模型 Paper: TranAD: Deep Transformer Networks for Anomaly Detection in Multivariate Time Series Data Code: https://github.com/imperial-q
公众号内容拓展学习笔记（2022.3.13）
xiaoxuebajie的博客
03-13 3326
公众号内容拓展学习笔记（2022.3.13） 📎 今日要点 CVPR小样本检测：蒸馏&上下文助力小样本检测（代码已开源） ⭐️⭐️ Abstract: CVPR小样本检测：蒸馏&上下文助力小样本检测YOLOR Paper: Dense Relation Distillation with Context-aware Aggregation for Few-Shot Object Detection Code: https://github.com/hzhupku/D
公众号内容拓展学习笔记（2022.2.26）
xiaoxuebajie的博客
02-26 3086
公众号内容拓展学习笔记（2022.2.26） 📎 今日要点 成功检测远距离目标，将点云与RGB图像结合，谷歌&Waymo提出新算法：4D-Net ⭐️⭐️ Abstract: 谷歌&Waymo提出新算法：4D-Net将点云与RGB图像结合成功检测远距离目标 Paper: 4D-Net for Learned Multi-Modal Alignment Tips: 4D-Net 的优点是，它既利用了 RGB 提供的高分辨率，可以准确地检测到图像上的目标，又利用了点云
机器学习学习笔记.pdf
07-05
《机器学习学习笔记.pdf》是一本关于机器学习的学习笔记的电子书，其内容涵盖了机器学习的基本概念、算法原理和实践应用等方面。 该电子书的主要内容包括但不限于以下几个方面： 1. 机器学习基础：介绍了机器学习的...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值