failed to create new OS thread (have 20 already； errno=11)

排查

这条错误信息来自于 Go 语言的运行时系统，表明在尝试创建新的操作系统线程时失败了。错误的原因和建议的解决方案如下：

1. 错误原因：

   • failed to create new OS thread (have 20 already; errno=11)：这表明程序已经创建了20个线程，尝试创建第21个线程时遇到了问题。errno=11 是一个系统错误码，通常表示 EAGAIN，即资源暂时不可用，通常是因为没有足够的资源（在这个情况下是线程）来满足请求。

2. 资源限制：

   • 操作系统对用户可以创建的进程和线程数量有限制。这个限制可以通过 ulimit 命令在 Unix-like 系统中查看和设置。

3. 解决方案：

   • 检查当前限制：使用 ulimit -u 查看当前用户的最大进程数限制。
   • 增加限制：如果需要，可以通过 ulimit -u <new_limit> 来增加最大用户进程数。这里的 <new_limit> 是你希望设置的新限制值。
   • 永久设置：更改 /etc/security/limits.conf 文件来永久增加这个限制，添加或修改以下行：

     *               soft    nofile      <new_limit>
     *               hard    nofile      <new_limit>
     

     其中 * 代表所有用户，nofile 是可以打开的文件描述符的数量，这通常与进程和线程的限制相关。

4. 程序优化：

   • 检查程序是否有不必要的线程创建，或者是否可以使用线程池来减少线程的数量。
   • 优化程序逻辑，减少对线程的依赖，可能通过使用 Go 的并发特性（goroutines）和通道（channels）来实现。

5. 系统资源：

   • 确保系统有足够的资源来支持更多的线程。如果系统资源紧张，可能需要优化应用程序或升级硬件。

6. 错误日志：

   • 这个错误通常会记录在应用程序的日志中，查看完整的错误日志可能会提供更多上下文信息。

请注意，过多的线程可能会导致资源竞争和上下文切换，进而影响程序性能。因此，在增加线程数量之前，最好先尝试优化应用程序的并发模型。

统计和确定是哪些进程使用了大量的系统资源

要统计和确定是哪些进程使用了大量的系统资源，导致无法创建新的线程，您可以使用多种命令行工具来检查进程和线程的使用情况。以下是一些常用的方法：

1. ps 命令：
   使用 ps 命令可以列出当前运行的进程及其状态。例如：

   ps aux
   

   这个命令会显示进程的详细信息，包括用户、CPU 和内存使用率等。

2. top 命令：
   top 提供了一个实时更新的进程列表，按 CPU 使用率排序。您可以使用它来快速识别消耗最多资源的进程：

   top
   

3. htop 命令（如果可用）：
   htop 是 top 命令的一个增强版本，提供了一个彩色的界面和更友好的用户交互：

   htop
   

4. pstree 命令：
   pstree 以树状图的形式显示进程及其父进程关系，有助于理解进程之间的层次结构：

   pstree
   

5. lsof 命令：
   lsof 列出打开的文件列表，可以帮助您找到使用特定资源（如文件、套接字等）的进程：

   lsof
   

6. ulimit 命令：
   ulimit 显示或设置用户可以创建的最大进程数和文件描述符数的限制：

   ulimit -u
   

7. nproc 命令：
   nproc 显示系统上的可用处理器数量，这有助于了解系统可以同时处理多少线程：

   nproc
   

8. sysctl 命令：
   sysctl 用于读取和设置系统内核参数，包括进程和线程的限制：

   sysctl kernel.pid_max
   

9. 审计日志：
   查看系统的审计日志，如 /var/log/syslog 或使用 journalctl，可能会记录有关资源使用和限制的信息。

10. 资源使用报告：
    使用 sar 命令可以生成系统资源使用的历史报告，帮助分析资源使用趋势：

    sar
    

11. strace 命令：
    strace 可以跟踪进程执行的系统调用，有助于了解进程的行为和可能的资源瓶颈：

    strace -p <pid>
    

12. pmap 命令：
    pmap 显示进程的内存映射，有助于识别内存使用情况：

    pmap <pid>
    

请注意，在使用这些工具时，您可能需要具有相应的系统权限，特别是当查看非当前用户拥有的进程信息时。此外，某些工具可能需要安装或在某些系统中不可用。