livy读源码总结

1、spark任务提交
https://blog.csdn.net/qq_32635069/article/details/80055745
2、线程池问题
线程池:一个管理线程的工具
解决的问题:一款好的软件设计是不建议手动创建和销毁会线程。线程的创建和销毁是非常耗CPU和内存的,因为这需要JVM和操作系统的参与
64位 JVM 默认线程栈是大小1 MB。这就是为什么说在请求频繁时为每个小的请求创建线程是一种资源的浪费。而线程可以根据创建是选择的策略
自动处理线程的生命周期。
Executors类中提供的常用线程池:
newSingleThreadExecutor:创建一个单线程的线程池,这样相当于串行执行所有的任务,适用于要求任务按一定顺序执行的场景
newFixedThreadPool:创建一个固定大小的线程池
newCachedThreadPool:创建一个可缓存的线程池,根据任务需要创建线程,并负责回收空闲线程,对线程的数目要求没有上限,线程池的大小完全依赖于操作系统(或JVM)
newScheduledThreadPool:创建一个大小无限的线程池,此线程池支持定时以及周期性的执行任务的需求。
好处:
减少了创建和销毁线程的次数,每个工作线程都可以被重复利用,可执行多个任务
根据系统的承受能力,调整线程池中工作线程的数目,防止内存消耗过多

这是Httpclient.java中的一段代码:
1、每一个Executor都对应这一单线程池,这样保证分配Exec

  • 0
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值