大数据技术是多线程还是多进程，你知道吗？

        既是多进程也是多线程，原因如下：

        首先大数据技术区别于传统技术的核心在于分治思想就是分而治之，让原本只能在一台机器上去干的活给分摊到多台机器中，让每台机器都能够运行一个做这件事的子任务，而这个子任务就是进程，因为有多台机器一起参与运行所以是多进程，这个是利用了多台机器的计算能力；但是如果想进一步压榨每台机器的性能的话，就得在每一台机器上也运行多个子任务，而这个在每一台机器上运行多个子任务的方式就叫多线程。

        大数据开发用分布式计算引擎处理数据时如果分配多个executor，那么就会在多台机器上启动多个进程，而如果对一个executor分配多个CPU的话，那么就会在每一台机器上再次启动多个线程来进一步加速任务的执行，所以大数据技术一定是多进程和多线程的。