1、spark任务提交
https://blog.csdn.net/qq_32635069/article/details/80055745
2、线程池问题
线程池:一个管理线程的工具
解决的问题:一款好的软件设计是不建议手动创建和销毁会线程。线程的创建和销毁是非常耗CPU和内存的,因为这需要JVM和操作系统的参与
64位 JVM 默认线程栈是大小1 MB。这就是为什么说在请求频繁时为每个小的请求创建线程是一种资源的浪费。而线程可以根据创建是选择的策略
自动处理线程的生命周期。
Executors类中提供的常用线程池:
newSingleThreadExecutor:创建一个单线程的线程池,这样相当于串行执行所有的任务,适用于要求任务按一定顺序执行的场景
newFixedThreadPool:创建一个固定大小的线程池
newCachedThreadPool:创建一个可缓存的线程池,根据任务需要创建线程,并负责回收空闲线程,对线程的数目要求没有上限,线程池的大小完全依赖于操作系统(或JVM)
newScheduledThreadPool:创建一个大小无限的线程池,此线程池支持定时以及周期性的执行任务的需求。
好处:
减少了创建和销毁线程的次数,每个工作线程都可以被重复利用,可执行多个任务
根据系统的承受能力,调整线程池中工作线程的数目,防止内存消耗过多
这是Httpclient.java中的一段代码:
1、每一个Executor都对应这一单线程池,这样保证分配Exec