《Linux多线程服务端编程:使用muduo C++网络库》学习笔记,★firecat推荐★

本文探讨了网络编程中的关键技术和优化方法,包括多线程与fork的使用限制、文件传输时如何有效管理连接、Buffer类的设计原理及应用场景、non-blocking网络编程中应用层buffer的重要性、C10K问题的背景及其解决方案、以及TcpConnection的数据发送策略。

4.9 多线程与fork

fork()一般不能在多线程中调用,因为Linux的fork只克隆当前线程的thread of ctrl,不克隆其他线程。即,fork之后子进程只有一个线程,其他线程都消失了。

 

7.2文件传输

如果客户端故意只发起连接,不接收数据,那么要么服务器进程的文件描述符耗尽,要么占用很多服务器内存,因为每个连接会建立缓冲区。解决方法是:

1、限制服务器的最大并发连接数

2、用timing wheel踢掉空闲连接https://blog.csdn.net/Solstice/article/details/6395098

3、关于muduo时间轮的实现

muduo举的例子,使用了boost库的circular_buffer:

/boost_1_68_0/boost/circular_buffer/*.*

/boost_1_68_0/boost/circular_buffer.hpp

https://github.com/chenshuo/muduo/blob/master/examples/idleconnection/echo.h

如果想摆脱boost库的依赖,需要自己写circular_buffer,参考:

Ring Buffer (circular Buffer)环形缓冲区简介

https://github.com/AlexStocks/muduo/blob/master/muduo/other/circular_buffer.h

https://github.com/kimg-bo/kimgbo/blob/master/example/idleconnection/echo.h

linux网络编程二十二:高性能定时器之时间轮

 

7.4Buffer类的设计与使用https://blog.csdn.net/Solstice/article/details/6329080

/// A buffer class modeled after org.jboss.netty.buffer.ChannelBuffer
///
/// @code
/// +-------------------+------------------+------------------+
/// | prependable bytes |  readable bytes  |  writable bytes  |
/// |                   |     (CONTENT)    |                  |
/// +-------------------+------------------+------------------+
/// |                   |                  |                  |
/// 0      <=      readerIndex   <=   writerIndex    <=     size
/// @endcode

 

7.4.1在现实生活中,IO复用总是和非阻塞IO一起使用,因为:

基础知识:

(1)IO阻塞与否体现在read/write/accept/connect等IO函数的使用方式;有阻塞和非阻塞线程两种方式。

(2)IO复用体现在select/poll/epoll_wait等函数。这些函数会阻塞当前线程。

实际原因:

(1)没有人会真的使用轮询来检查某个非阻塞IO操作是否完成,这样太浪费CPU;

(2)IO复用一般不能和阻塞IO使用,因为阻塞IO的read/write/accept/connect函数都会阻塞当前线程。这样线程就无法处理其他的IO事件了。

(3)非阻塞IO的核心思想是避免阻塞在read/write/accept/connect等IO系统调用上,IO线程只能阻塞在IO复用函数上,如select/poll/epoll_wait等。

(4)更详细的知识,可以参考《UNP》第16章,非阻塞IO。

 

★为什么 non-blocking 网络编程中应用层 buffer 是必须的?

https://blog.csdn.net/libaineu2004/article/details/80555051

 

C10K的问题:

 

8.8TcpConnection发送数据

1、muduo采用epoll的LT模式(ET模式要求用户一次性把数据读完,而LT则不需要,可以先读50字节再在下一次io循环时读剩余部分),只在需要时才关注writable事件,否则会造成busy loop;

2、send函数,io线程和非io线程的区别

截图是从muduo书P318来的,书上写非io线程。我的理解是:

muduo net的线程叫io线程,one loop per thread + threadpool;参加书P174;

用户自己开的业务线程就叫非io线程,然后在业务线程调用send函数。

举例一个应用场景就是,客户端发起请求,服务器需要从redis或mysql取数据,然后send回客户端。考虑到从MySQL取数据比较耗时,不能在io线程去处理业务(否则会造成busy loop),我就另起了非io线程。所以需要在非io线程send。

说白了就是一句话,服务器这样: conn丢给了非io线程, 阻塞访问mysql, 得到响应了,调用conn->send。

非io线程建议使用线程池来实现。

 

8.12TcpClient
客户端连接断开后初次重试的延迟应该有随机性,比如说服务端奔溃,它所有的客户连接同时断开,然后0.5s之后再次发起连接,这样既可能造成SYN丢包,也可能给服务器带来短期大负载,影响其服务质量。因此每个客户端应该等待一段随机的时间(0.5~2s),再重试,避免拥塞。

Linux多线程服务端编程使用muduo C++网络库》主要讲述采用现代C++在x86-64 Linux上编写多线程TCP网络服务程序的主流常规技术,重点讲解一种适应性较强的多线程服务器的编程模型,即one loop per thread。 目 录 第1部分C++ 多线程系统编程 第1章线程安全的对象生命期管理3 1.1当析构函数遇到多线程. . . . . . . . . . . . . . . . .. . . . . . . . . . . 3 1.1.1线程安全的定义. . . . . . . . . . . . . . . . .. . . . . . . . . . . 4 1.1.2MutexLock 与MutexLockGuard. . . . . . . . . . . . . . . . . . . . 4 1.1.3一个线程安全的Counter 示例.. . . . . . . . . . . . . . . . . . . 4 1.2对象的创建很简单. . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . 5 1.3销毁太难. . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . 7 1.3.1mutex 不是办法. . . . . . . . . . . . . . . . . . . .. . . . . . . . 7 1.3.2作为数据成员的mutex 不能保护析构.. . . . . . . . . . . . . . 8 1.4线程安全的Observer 有多难.. . . . . . . . . . . . . . . . . . . . . . . . 8 1.5原始指针有何不妥. . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . 11 1.6神器shared_ptr/weak_ptr . . . . . . . . . .. . . . . . . . . . . . . . . . 13 1.7插曲:系统地避免各种指针错误. . . . . . . . . . . . . . . . .. . . . . . 14 1.8应用到Observer 上.. . . . . . . . . . . . . . . . . . . . . . . . . . . . . 16 1.9再论shared_ptr 的线程安全.. . . . . . . . . . . . . . . . . . . . . . . . 17 1.10shared_ptr 技术与陷阱. . . .. . . . . . . . . . . . . . . . . . . . . . . . 19 1.11对象池. . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . 21 1.11.1enable_shared_from_this . . . . . . . . . . . . . . . . . . . . . . 23 1.11.2弱回调. . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . 24 1.12替代方案. . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . 26 1.13心得与小结. . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . 26 1.14Observer 之谬. . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . 28 第2章线程同步精要 2.1互斥器(mutex). . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 32 2.1.1只使用非递归的mutex . . . . . . . . . . . . . .. . . . . . . . . . 33 2.1.2死锁. . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . 35 2.2条件变量(condition variable). . . . . . . . . .
### 回答1: 《Linux多线程服务端编程使用muduo C++网络库》是一本介绍使用muduo C++网络库进行多线程服务端编程的电子书。该书由陈硕所著,适用于想要学习Linux多线程网络编程的开发人员。 本书从基础概念开始,详细介绍了多线程网络编程的原理和技术,并结合muduo C++网络库使用示例,演示了如何开发高性能、稳定的网络服务端程序。 muduo C++网络库是一个基于事件驱动的网络编程库,它采用了Reactor模式,提供了高效的异步IO操作。该库封装了多线程、多进程、事件等相关操作,使得开发者可以简单、快速地开发网络服务端应用。 在本书中,作者通过具体的实例和代码示例,讲解了muduo C++网络库使用方法和注意事项。书中内容分为多个章节,包括网络编程基础、IO复用、事件回调、线程同步、线程池等,涵盖了开发者在实际项目中可能遇到的各种情况。 通过学习《Linux多线程服务端编程使用muduo C++网络库》,读者可以了解到多线程服务端编程的基本原理和技术,掌握使用muduo C++网络库进行高效开发的方法,并能够开发出高并发、高性能的网络服务端应用。 总之,该书是一本实用的网络编程指南,对于想要学习Linux多线程网络编程以及使用muduo C++网络库的开发人员来说,具有较高的参考价值。 ### 回答2: 《Linux 多线程服务端编程使用 muduo C++ 网络库》是一本介绍如何使用 muduo C++ 网络库进行 Linux 多线程服务端编程的指南。该书主要目的是教读者如何构建高性能、可扩展的网络服务端应用程序。 该书首先介绍了多线程编程的基础知识,包括线程创建、线程同步与互斥、线程安全的数据结构等内容。然后,书中详细介绍了 muduo C++ 网络库使用方法,包括网络编程基础、事件驱动模型、网络编程的设计模式等。读者可以通过学习这些内容,了解如何使用 muduo C++ 网络库来构建高性能的多线程服务端。 该书还介绍了业界常用的网络协议及其实现原理,例如 TCP/IP、HTTP 协议等。通过学习这些知识,读者可以更好地理解网络编程的工作原理,从而更好地设计和实现自己的网络服务端应用程序。 此外,书中还涵盖了一些实际案例和实战经验,读者可以通过这些案例了解如何应对常见的网络编程问题,并且学习到一些实际的开发技巧和调试技巧。 总而言之,《Linux 多线程服务端编程使用 muduo C++ 网络库》是一本非常实用的指南,可以帮助读者快速入门多线程服务端编程,并且掌握使用 muduo C++ 网络库构建高性能的网络服务端应用程序的技巧。无论是初学者还是有一定网络编程经验的开发者,都可以从这本书中获得很多有价值的知识和经验。 ### 回答3: 《Linux 多线程服务端编程使用 muduo C++ 网络库》是一本关于使用muduo C++网络库进行Linux多线程服务端编程的书籍。本书以muduo C++网络库为基础,深入讲解了多线程服务端编程的相关知识和技巧。 本书主要内容包括: 1. muduo库的介绍:介绍了muduo库的特性、设计思想和基本用法。muduo库是基于Reactor模式的网络库,提供了高效的事件驱动网络编程框架,有助于开发者快速搭建高性能的网络服务端。 2. 多线程编程的基础知识:介绍了多线程编程的基本概念和相关的线程同步和互斥机制,如互斥锁、条件变量等。并讲解了如何正确地使用这些机制,以保证多线程程序的正确性和高效性。 3. muduo C++网络库使用:详细介绍了muduo库的线程模型、事件驱动机制和网络编程接口。通过实例代码和示意图,演示了如何使用muduo库构建一个多线程的网络服务端,包括创建监听套接字、事件的注册和处理、多线程任务分配等。 4. 高性能服务端的设计和优化:讲解了如何设计和优化高性能的多线程服务端。包括使用线程池提高并发处理能力、使用非阻塞IO提升数据处理效率、优化网络通信性能等方面的内容。 该书适合具有一定Linux编程基础的开发人员学习和参考。通过学习该书,读者可以掌握使用muduo C++网络库进行多线程服务端编程的技巧,提升服务端的性能和可靠性。同时,也可了解到网络编程领域的一些高级技术和最佳实践。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值