预热warmup过程

https://blog.csdn.net/feelwing1314/article/details/80359785

今天群里小伙伴黄晓峰VIVO咨询一个问题:”dubbo接口怎么做预热呢,每次上线,都会有一小部分超时?”,熟悉JVM都知道,JVM重启后有一段预热过程,要运行一段时间,它的性能才能达到最佳状态;阿里JVM团队就针对这个缺陷进行了优化,其特性名曰:jwarmup,可以点击Alibaba JVM创新提效 获国际社区认可登台JVM圈顶会,对jwarmup稍微了解; 

你假笨那里了解到jwarmup的大概原理:针对上次JIT对应用的优化,主动去触发JIT编译优化,而不是等jvm运行一段时间自己去感知!

介绍alijdk辅助工具JITWarmup

JVM在应用启动的时候因为没有jit的充分参与,性能没有达到最优状态,同时在这个过程中要不断重新编译,优化。占用非工作线程以外的大量资源,会使在

启动阶段load骤然升高,很多时候我们会采用分层编译来解决。但是分层编译启用后,c1的cacheocde会占用大量的空间,又会引发jvm崩溃的问题。(http://bugs.java.com/bugdatabase/view_bug.do?bug_id=8006952)

现在alijdk有了一个辅助工具JITWarmup,使用它可以记录上一次(最好是beta发布)运行时被编译的方法名字,类初始化顺序,执行次数等信息,在下次

启动(正式发布)的时候,读取这些信息,然后JIT对应的方法。

 

图上(1)是启动初期,应用并没有提供服务的时候,也就是jvm启动时并没结束,所以这个高峰并不影响服务(启动时间可能延长了)。但是在后面,蓝线是原来启动时cpu的load,一直居高70s左右,红线是使用JITWarmup后cpu居高情况,很快就下来了。效果还是非常明显的。

JitWarmUp更名为JWarmup正式内置为AJDK模块。

JWarmup是AJDK-8.1.1引入的新功能(Preview),曾用名JitWarmUp,在AJDK-8.2.3中正式发布(建议使用 AJDK8.2.4_fp1 or higher )。通过记录Java应用上一次运行时候的编译信息到文件中,在下次应用启动时,读取该文件,从而在流量进来之前,提前完成类的加载、初始化和方法编译,从而跳过解释阶段,直接执行编译好的native code,避免一面解释执行一面后台编译带来的CPU与load飙高,rt超时等问题。

 

  • 0
    点赞
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
PyTorch的warmup是指在训练神经网络时,初始学习率较小,然后逐渐增加到设定的学习率。这个过程可以帮助网络更好地收敛并提高训练效果。在PyTorch中,可以使用pytorch-gradual-warmup-lr库来实现warmup功能。这个库可以通过调整学习率的变化曲线来实现warmup。具体来说,它通过在训练的前几个epoch中逐渐增加学习率,然后再使用正常的学习率进行训练。这样可以避免训练初期学习率过大导致的不稳定问题。\[1\] 在PyTorch中,模型的参数更新是通过计算参数的梯度来实现的。每次反向传播都会计算参数的偏导数,通常表示为gt。然后,优化器会对梯度进行处理,得到新的梯度值g^t,即F(gt)。这个新的梯度值会与学习率lr一起用于更新参数。PyTorch中的优化器类如torch.optim.SGD和torch.optim.Adam都可以用于参数的更新。\[2\]\[3\] 总结起来,PyTorch的warmup是通过逐渐增加学习率来帮助神经网络更好地收敛的一种技术。可以使用pytorch-gradual-warmup-lr库来实现这个功能,并且在参数更新时使用优化器来更新参数。 #### 引用[.reference_title] - *1* [[即开即用的预热学习率调整方法]Pytorch warmup lr scheduler代码与调用方法,训练效果](https://blog.csdn.net/coolsmartboy/article/details/123225564)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^control_2,239^v3^insert_chatgpt"}} ] [.reference_item] - *2* *3* [pytorch常用优化器总结(包括warmup介绍及代码实现)](https://blog.csdn.net/weixin_39529413/article/details/123049102)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^control_2,239^v3^insert_chatgpt"}} ] [.reference_item] [ .reference_list ]

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值