常见多线程与并发服务器设计方案举例

最新推荐文章于 2024-04-14 16:01:54 发布
最新推荐文章于 2024-04-14 16:01:54 发布
阅读量8.2k 收藏 9
点赞数 4
分类专栏： muduo网络库学习 文章标签： 并发服务器 多线程 reactor threadpool
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/jnu_simba/article/details/14141245
版权
本文介绍了多线程与并发服务器设计的基础知识，包括端口绑定限制、文件描述符管理和线程共享。列举了多种并发服务器方案，如循环式服务器、并发进程/线程服务器、reactor模式及其变种，并对比了它们的适用场景和优缺点。还探讨了多线程对并发度、吞吐量和响应时间的影响，以及线程池大小选择和线程分类的问题。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

一、3点基础知识

1、一个主机的端口号为所有进程所共享，但普通用户进程绑定bind不了一些特殊端口号如20、80等。 
    多个进程不能同时监听listen同一个端口，会失败。当然父进程可以先listen然后fork多个子进程，多个子进程都可以accept这个sock，即抢夺式响应（惊群效应）。
    关注4元组是否能唯一确定一个连接？

2、每个进程都有自己的文件描述符（包括file fd, socket fd, timer fd, event fd, signal fd），一般是1024，可以通过ulimit -n 设置，但所有进程打开的文件描述符总数有上限，跟主机的内存有关。

3、一个进程内的所有线程共享进程的文件描述符。

二、常见并发服务器方案：

1、循环式/迭代式( iterative )服务器
无法充分利用多核CPU，不适合执行时间较长的服务，即适用于短连接。如果是长连接则需要在read/write之间循环，那么只能服务一个客户端。


2、并发式(concurrent)服务器
one connection per process/one connection per thread
适合执行时间比较长的服务

最低0.47元/天 解锁文章
Java多线程和并发编程面试题和参考答案100多道（持续更新）
大模型大数据攻城狮的专栏
05-20 452
守护线程（Daemon Thread）是一种特殊的线程，它在执行时不会阻止JVM的退出。当所有的非守护线程都结束运行时，JVM会自动退出，即使守护线程还在运行。守护线程主要用于执行一些后台任务，如垃圾回收、监控等。用途举例垃圾回收线程：JVM内部的垃圾回收线程就是一个典型的守护线程，它负责监控对象的使用情况，并在适当的时候回收不再使用的对象，释放内存资源。日志记录线程。
多线程与并发服务器设计
wk_bjut_edu_cn的博客
06-28 2831
常见并发服务器方案 1.iterative(循环式/迭代式)服务器     iterative 只能使用短连接（每处理完一个连接，然后就关闭连接，称为短连接），不能使用长连接，如果使用长连接，意味着write需要转到read，那么整个程序就是一个单线程程序，如果此时有其它线程过来，没有办法接受连接，因为前一个线程还在read->write的循环中。也就是说如果使用长连接的话，这个程序...
Linux能同时启动多少个线程
晴天的专栏
09-19 5711
对于 32-bit Linux，一个进程的地址空间是 4G，其中用户态能访问 3G 左右，而一个线程的默认栈 (stack) 大小是 10M，心算可知，一个进程大约最多能同时启动 300 个线程左右 多线程能提高并发度吗？ 如果指的是“并发连接数”，不能。 假如单纯采用 thread per connection 的模型，那么并发连接数大约300，这远远低于基于事件的单线程程
多线程与并发服务器设计(23-1)
Riak, Spark, Golang, Erlang, 云存储, 云计算, 数据挖掘
11-07 2093
常见并发服务器方案 1、循环式/迭代式( iterative )服务器     无法充分利用多核CPU，不适合执行时间较长的服务 2、并发式(concurrent)服务器 one connection per process/one connection per thread     适合执行时间比较长的服务 3、prefork or pre threaded（UNP2e 第27章）
并发服务器设计
一棵小草的空间
08-12 735
并发服务器就是能够同时处理多个客户端请求的服务器。并发服务器可通过多进程或者多线程程序来实现。
通过线程编写一个简单的并发服务器
qiyue683209的博客
09-30 221
概述 之前在上一节通过使用fork来实现了一个并发程序，它很经典但是效率不高主要是太消耗资源因为fork一个进程的开销很大，假如100客户端连接就需要100个进程，这样不是不可以只是这种方式不太高级，下面我们通过使用线程来实现并发，因为产生一个线程的开销要小的多，当然对于大规模并发的场景使用线程也不是最好的选择，但是学习socket编程的过程中这些东西是需要了解的。 代码段 服务器端 通过线程编写...
常见多线程与并发服务器设计方案举例.docx
10-26
多线程与并发服务器设计是构建高性能网络服务的关键技术之一。以下是一些关于这个主题的重要知识点： 1. **端口号与连接唯一性**： - 端口号是进程间通信的一部分，特殊端口（如20、80）通常由特定服务占用，普通...
软件实施工程师笔试题：多线程与并发编程，难点逐个击破
首先介绍了多线程与并发编程的基础，然后深入分析了线程同步机制，包括锁机制的原理和线程间通信技术。接着，探讨了并发编程模式及其在实践中的应用，以及内存管理与线程性能优化。第四部分重点讨论了高级并发框架与...
【高级话题讨论】：Qualcomm基带调试中的多线程与并发问题
本文旨在探讨多线程与并发编程的基本概念、理论基础及其在Qualcomm基带调试中的应用。首先，文中介绍了进程与线程的定义及区别，并深入分析了多线程的实现机制，包括线程创建、管理和同步通信，以及线程池的应用。...
并发服务器-多线程服务器详解
09-21
并发服务器-多线程服务器详解
网络程序设计——4.利用多进程和多线程实现服务器端的并发处理
a429367172的博客
11-12 957
  一、实验要求     在TCP文件传输代码的基础上，利用单线程进程并发模型和多线程并发模型实现服务器端的并发处理。 二、实验分析     多线程与多进程相比，使用多线程相比多进程有以下两个优点：更高的效率和共享存储器，效率的提高源于上下文切换次数的减少。     但是采用多线程的方式也有缺点：一个线程的动作可能会对同一个进程内的其他线程产生影响、并且多线程缺乏健壮性。     具体...
Linux多线程高并发网络通信服务器与客户端实现
梅山
03-29 2074
学习本节内容需要掌握网络socket编程基础，多线程编程基础。 下面来看在没有多线程情况下，使用单线程实现socket编程的步骤： 1、单线程服务器端 单线程实现网络通信服务器代码实现： 服务器端实现流程： 1、socket创建socket套接字文件描述符 2、bind绑定ip地址和端口号 3、listen监听是否有客户端与服务器端连接 4、accept并且等待客户端连接 5、read/recv、write/send与客户端通信 6、close关闭套接字文件描述符 #include <stdio.h&
【网络编程】高性能并发服务器源码剖析
weixin_73951752的博客
04-14 4517
hello！大家好呀！欢迎大家来到我的网络编程系列之洪水网络攻击，在这篇文章中，希望这篇文章能对你有所帮助，大家要是觉得我写的不错的话，那就点点免费的小爱心吧！
并发服务器中的 TCP多线程服务器与客户端（华清远见学员）
thedh的博客
08-11 1460
tcp的服务端的设计流程：1.建立套接字socket2.绑定ip地址与端口号3.建立监听队列4.接受连接，产生新的套接字5.数据的发送和接受具体代码如下具体代码如下：服务器与客户端的设计流程相差无几，客户端仅仅是多了个连接服务器，少了监听套接字和接受客户端两个步骤。...
多线程并发服务器的实现
a123450q的博客
02-26 347
attr：线程的的属性，一般置为NULL，表示默认属性；创建线程，对通信模块的调用。第三个是回掉函数，线程所要执行的功能；4.通信模块：read函数将读取的数据保存在数组中。第四个是回掉函数的参数；5.主函数：调用函数完成套接字的创建等基本步骤。无阻塞回收结束的子进程的函数。1.多线程服务器的实现是在多进程服务器的基础上增改了一些功能。阻塞回收结束的子进程的函数。1.套接字的创建，ip地址初始化。参数说明：thread：线程号。
客户端发送请求到服务器端回应过程的简单解析
qq_40328109的博客
08-12 2714
客户端发送请求到服务器端回应过程的简单解析 ①浏览器会将我们的url中的要访问的域名取出，接下来进行DNS解析 ②在DNS解析过程中，OS会先后进行以下操作：       1、先检查本地的hosts文件中是否有这个网址映射关系，如果有，就先调用这个IP地址映射，完成域名解析；      &...
【Linux网络编程】高并发服务器 socket+epoll封装 服务器/客户端举例
持续学习，持续进步！
06-29 4065
本文主要介绍高并发服务器设计，socke+epoll封装，以及相关代码示例说明
基于TCP实现服务器端、多客户端通信（多线程、多进程并发编程）
ZY-JIMMY
04-17 7223
多客户端并发访问的问题分析、多线程方式实现客户端并发访问、多进程方式实现客户端并发访问、解决多进程方式下僵尸进程问题
虚拟机服务器多线程设置,cpu核数线程做虚拟机
weixin_39583623的博客
08-06 3024
cpu核数线程做虚拟机 内容精选换一换在服务器上运行多个虚拟机，每台虚拟机的业务不同，造成不同程度的资源占用，对于存储IO密集型的虚拟机，为了避免相邻的虚拟机的干扰，需要将不同虚拟机处理IO的存储进程完全隔离，由于QEMU主进程是处理前后端的主要服务进程，故需要实现隔离。虚拟机进行绑核时，建议物理CPU0~CPU3保留，不使用。vm1为虚拟机名称。emulatorpin cp在服务器上运行多个虚拟...
java 多线程 学习
最新发布
03-29
<think>好的，我现在需要帮助用户学习Java多线程编程，从入门到精通。首先，我得理清用户的需求，他们可能对多线程的基础概念不太熟悉，需要从最基础的部分开始讲解。根据提供的引用内容，用户可能希望了解多线程的基本概念、核心技术、常见问题以及实际应用案例。 首先，我应该按照用户的要求，结构清晰地分步骤回答。根据引用[2]，多线程的基础概念包括线程的定义、与进程的区别、并发与并行的概念。这部分需要先解释清楚，确保用户打好基础。 接下来是核心技术部分，引用[3]提到创建线程的两种方式：继承Thread类和实现Runnable接口。这里需要详细说明这两种方法的区别，并给出代码示例。同时，线程的生命周期也是一个重点，需要解释各个状态之间的转换，比如新建、就绪、运行、阻塞和终止状态。 然后是线程同步机制，引用[1]和[4]都提到了线程同步的重要性。用户需要了解为什么需要同步，以及如何通过synchronized关键字和Lock接口来实现。此外，wait()、notify()和notifyAll()方法的作用和使用场景也需要解释清楚，可能还要比较synchronized和Lock的优缺点。 线程池部分，引用[3]提到了Executor框架，这里需要介绍线程池的优势，比如资源复用和性能提升。可以举例说明如何通过Executors工具类创建不同类型的线程池，如FixedThreadPool和CachedThreadPool，并强调实际开发中推荐使用ThreadPoolExecutor来自定义参数，避免资源耗尽的风险。 高级并发工具方面，引用[1]和[3]提到了并发集合类和原子类，比如ConcurrentHashMap和AtomicInteger，这些内容需要简要介绍，说明它们如何帮助简化多线程编程并提高性能。 常见问题部分，用户可能遇到线程安全、死锁、资源竞争等问题。需要解释这些问题的原因，并提供解决方案，比如使用同步机制或合理设计线程任务。引用[4]提到OOM和CPU飙升的风险，这部分需要强调正确使用线程池的重要性。 最佳实践方面，根据引用[1]和[4]，需要给出一些实际开发中的建议，比如避免直接创建线程、合理设置线程池参数、减少锁的粒度等。这些建议能帮助用户写出更高效可靠的代码。 最后，实际应用案例部分，引用[1]和[3]提到了高并发服务器和批量数据处理等场景。可以举一个简单的多线程下载文件的例子，展示如何应用所学知识。 在整理回答时，要确保LaTeX格式正确，行内公式用$...$，独立公式用$$...$$，但根据用户的问题，可能数学公式较少，主要集中在代码示例和文字说明。同时，生成的相关问题需要覆盖用户可能进一步想知道的内容，比如性能优化、死锁处理、线程池配置等。 检查是否有遗漏的部分，比如线程通信方式、具体的同步机制比较，以及如何调试多线程程序。确保引用标记正确，每个引用的内容都自然融入回答中。最后，保持语言简洁，结构清晰，逐步引导用户从基础到进阶掌握Java多线程编程。</think>### Java 多线程编程教程：从入门到精通 #### 一、基础概念 1. **多线程的定义** 多线程允许程序同时执行多个任务，每个任务称为一个线程。线程是CPU调度的最小单位，共享进程资源（如内存空间），适用于高并发场景[^2]。 2. **进程与线程的区别** - 进程：独立的内存空间，资源隔离，切换开销大。 - 线程：共享进程资源，切换开销小，但需处理同步问题[^4]。 3. **并发与并行** - 并发：单核CPU通过时间片轮转模拟“同时”执行。 - 并行：多核CPU真正同时执行多个线程。 #### 二、核心技术 1. **线程的创建** - **继承`Thread`类** ```java class MyThread extends Thread { @Override public void run() { System.out.println("Thread running"); } } MyThread t = new MyThread(); t.start(); ``` - **实现`Runnable`接口**（推荐，避免单继承限制） ```java class MyRunnable implements Runnable { @Override public void run() { System.out.println("Runnable running"); } } Thread t = new Thread(new MyRunnable()); t.start(); ``` 2. **线程生命周期** - 新建（New） → 就绪（Runnable） → 运行（Running） → 阻塞（Blocked） → 终止（Terminated）。 3. **线程同步** - **`synchronized`关键字** 通过锁机制保证代码块或方法的原子性： ```java public synchronized void increment() { count++; } ``` - **`Lock`接口**（更灵活，支持超时和公平锁） ```java Lock lock = new ReentrantLock(); lock.lock(); try { count++; } finally { lock.unlock(); } ``` 4. **线程通信** - 使用`wait()`、`notify()`和`notifyAll()`实现线程间协作： ```java synchronized (obj) { while (conditionNotMet) { obj.wait(); // 释放锁并等待 } obj.notify(); // 唤醒等待线程 } ``` #### 三、线程池与高级工具 1. **线程池（`Executor`框架）** - **优势**：减少线程创建/销毁开销，控制并发数量[^3]。 - **创建方式**： ```java ExecutorService executor = Executors.newFixedThreadPool(4); executor.submit(() -> System.out.println("Task executed")); executor.shutdown(); ``` - **自定义线程池**（推荐避免`Executors`潜在问题） ```java ThreadPoolExecutor executor = new ThreadPoolExecutor( 2, 10, 60, TimeUnit.SECONDS, new LinkedBlockingQueue<>() ); ``` 2. **并发工具类** - **`ConcurrentHashMap`**：线程安全的哈希表。 - **`CountDownLatch`**：等待多个线程完成再继续。 - **`AtomicInteger`**：原子操作类，无需锁即可保证线程安全。 #### 四、常见问题与解决方案 1. **线程安全问题** - **现象**：数据竞争导致结果不一致。 - **解决**：使用同步机制或原子类。 2. **死锁** - **条件**：互斥、持有并等待、不可抢占、循环等待。 - **避免**：按顺序获取锁，设置超时时间。 3. **资源耗尽** - **场景**：线程池未限制最大线程数导致OOM。 - **解决**：合理配置线程池参数[^4]。 #### 五、最佳实践 1. **避免直接创建线程**：优先使用线程池[^3]。 2. **减少锁粒度**：例如用`ConcurrentHashMap`替代全局锁。 3. **使用线程本地变量**：`ThreadLocal`避免共享变量冲突。 4. **监控线程状态**：通过工具（如JConsole）分析线程阻塞或死锁。 #### 六、实际应用案例 **案例：多线程文件下载** ```java ExecutorService executor = Executors.newFixedThreadPool(4); List<Future<File>> futures = new ArrayList<>(); for (String url : urls) { futures.add(executor.submit(() -> downloadFile(url))); } for (Future<File> future : futures) { File file = future.get(); // 等待所有任务完成 } executor.shutdown(); ``` ---
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值