技术知识收集

1. 操作系统的线程数

   windows 一个进程的线程数默认是2000

   linux 一个进程的线程数默认是1000 

2. Java 内存相关

   java为每一个线程耗用大约1M的JVM内存，作为线程栈用

 

3. hadoop operation

查看正在运行的 Hadoop 任务：yarn application -list 
关闭 Hadoop 任务进程：yarn application -kill $ApplicationId

4. Spark + yarn 运行的错误

    1）ExecutorLostFailure (executor 3 exited caused by one of the running tasks) Reason: Container killed by YARN for exceeding memory limits. 61.0 GB of 61 GB physical memory used

         解决方法：调低executor-memory ，同时增加 spark.yarn.executor.memoryOverhead