Storm_Storm worker 内存占用调优

Storm 正真工作的节点是 worker 节点,所以在做调优的时候我们一般会对 Storm  worker 的内存占用进行调整.


默认情况下,Storm启动worker进程时,JVM的最大内存是768M。
但我在使用过程中,由于会在Bolt中加载大量数据,768M内存无法满足需求,会导致内存溢出程序崩溃。
经过研究发现,可以通过在Strom的配置文件storm.yaml中设置worker的启动参数:


storm.yaml 添加或者修改:
 worker.childopts: "-Xmx2048m"


该参数会在启动时传递给JVM,然后就可以在worker中使用2048m内存了。

  • 2
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
kthread_create_worker函数是用来创建一个kthread_worker结构的函数。该函数会分配内存并初始化kthread_worker结构,然后返回指向该结构的指针。该函数的参数包括flags和namefmt,可以根据需要设置一些标志位和命名格式。然后,该函数会调用__kthread_create_worker函数来完成实际的创建工作。__kthread_create_worker函数会创建一个线程并将worker绑定到该线程上,一个worker对应一个线程。创建线程的工作由__kthread_create_on_node函数完成,它会调用kthread_worker_fn函数作为线程的入口点,并将worker作为参数传递给kthread_worker_fn函数。创建线程后,会根据需要将线程绑定到指定的CPU上。最后,会唤醒线程并返回创建的worker结构指针。所以,通过调用kthread_create_worker函数可以创建一个worker,并将其绑定到一个线程上,从而实现多线程的工作调度。<span class="em">1</span><span class="em">2</span><span class="em">3</span> #### 引用[.reference_title] - *1* *2* [linux kthread_work解析](https://blog.csdn.net/shp1234/article/details/122897166)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v92^chatsearchT0_1"}}] [.reference_item style="max-width: 50%"] - *3* [Linux kthread worker/work机制分析](https://blog.csdn.net/jiangnanmingtian/article/details/131502646)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v92^chatsearchT0_1"}}] [.reference_item style="max-width: 50%"] [ .reference_list ]

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值