一、概述
性能优化
:是指针对计算机系统或应用程序的性能进行改善的一系列技术和方法。
性能优化的目标
:是提高系统或应用程序的响应时间
、吞吐量
、效率
和可伸缩性
等方面的性能指标。
性能优化需要有一些技巧
:对于一个整个产品或项目而言,比如可以从前端优化、后端优化、架构优化、高并发优化、Linux内核优化、常用中间件优化等方便去优化,当然每个方面侧重点不同,用的技术点也不同。
当然除了上述从技巧方面做优化,我们也必须通过使用性能测试工具进行性能基准测试,并根据测试结果进行有针对性的优化。注意的是,性能优化需要结合具体的应用场景和问题进行分析和调整,避免过度优化和过早优化。
Tip:压力测试工具Jmeter入门:传送门
二、技术优化之中间件优化
Easticsearch
性能优化包括:硬件优化(CPU、内存和磁盘空间,SSD硬盘可提高性能)、合理设置分片数量和副本数量、索引设计(选择合适的数据类型,避免过度索引字段。合理设置分词器和分析器,以便正确地处理文本数据)、查询优化(使用过滤器而不是查询来提高性能。缓存常用查询结果,避免重复计算)、合理的master节点数量、清晰的节点职能(master、data、coordinator)、冷热数据分离、JVM调优(调整JVM堆大小、垃圾回收器等参数、JDK升级)、集群拆分、ES参数优化(refresh_interval、thread_pool、cache、file descriptors、swap)、网络优化、日志管理等。具体的优化策略还需根据实际应用场景和需求进行调整和优化。Kafka
性能优化包括:参数优化、合理的分区数量和副本数量、消息生产者优化(批量发送消息、异步发送、重试机制等)、消息消费者优化(调整消费者的并发度、使用多线程消费、增加缓存大小等方式)、消息压缩、监控和调优(消息延迟、消费者位移、磁盘使用率等)。Mysql
性能优化包括:索引优化、读写分离、分库分表、查询优化、参数优化、硬件优化等。Redis
性能优化包括:合理的数据结构(string、hash、list、set、zset)、合理的持久化存储(RDB、AOF)、合理的参数配置(最大客户端连接数、最大内存使用量等)、设置合理的过期时间、避免大key、合理的回收策略、热key处理、缓存穿透、缓存击穿、缓存雪崩等。
三、技术优化之高并发优化
缓存优化
:缓存是提高系统性能的重要手段之一,可以采用本地缓存、分布式缓存、堆外缓存等技术来提高系统的并发处理能力和响应速度。如redis缓存、Memcache缓存、Ehcache、Guava Cache及Caffeine等。注意,在选择缓存技术时需要考虑多种因素,如数据量、访问频率、数据更新的频率、缓存一致性等,同时也需要根据实际情况进行性能测试和优化。消息队列
:消息队列是一种异步通信机制,可以将任务的执行和结果的返回分离开来,从而提高系统的并发处理能力和可靠性。限流
:限流是一种重要的高并发优化手段,可以有效控制系统的并发访问量,保护系统免受过载的影响。比如令牌桶算法、漏桶算法、计数器限流、基于时间窗口的吸限流、分布式限流(基于redis或zookeeper的分布式令牌桶算法实现的全局的先流控制)、服务网关限流、弹性限流(根据系统实际负载和资源状况动态调整限流策略,实现限流的弹性和自适应性)。以上是一些常见的限流策略和技术,限流可以有效避免系统因过载而崩溃,保障系统的稳定性和可靠性。在实际应用中,需要根据系统的特点和需求选择合适的限流策略,并进行合理的配置和调优。熔断
:是一种用于高并发优化的重要机制,它可以提高系统的容错性和稳定性。当系统的某个服务出现故障或不可用时,熔断机制会暂时中断对该服务的请求,避免将故障传递给其他组件,从而保护整个系统的可用性。降级
:是一种在高并发环境下优化系统性能和提高可用性的常用策略。通过降低系统的某些功能或服务的负载,可以减轻系统压力,避免系统崩溃或过载。如服务降级、数据降级、异步处理、限制资源使用、容错处理、负载均衡等。静态化
:是一种常见的优化技术,可以有效降低系统的负载和提高性能,特别适用于高并发场景。静态化的核心思想是将动态生成的内容转化为静态文件,并直接返回给用户,从而减少服务器的计算和数据库的访问。在高并发方便可以从页面静态化、数据静态化、CDN缓存、静态资源优化等方面优化。需要注意的是,静态化对于某些动态内容或频繁变化的数据可能不适用,需要根据实际情况进行评估和选择。同时,静态化也需要考虑缓存更新、文件同步、页面动态交互等问题,以保证系统的稳定性和可用性。拆分
:高并发优化中,拆分是一种常用的策略,可以将系统拆分为多个独立的模块或服务,从而提高系统的可扩展性、并行处理能力和容错性。可以从功能拆分、数据库拆分、服务拆分、缓存拆分、请求拆分等几个方面优化。同时在进行拆分优化时需要考虑监控与调优、异常处理与容灾、部署与运维及相应的测试和压测。
四、技术优化之后端优化
代码优化
:代码开发过程中可以遵循一些开发原则,比如DRY (Don’t Repeat Yourself) 原则、KISS (Keep It Simple, Stupid) 原则、YAGNI (You Ain’t Gonna Need It) 原则及SOLID 原则等。也可以使用一些常用的设计模式等。池化技术
:池化技术是常用的一种优化方法,主要用于减少对象、内存等资源的重复创建和销毁,从而提高程序的性能和效率。常见的池化技术包括对象池、线程池、内存池、连接池及文件斥等。不过需要注意池大小的配置、内存泄漏的问题和并发访问的竞争等问题。批量操作
:批量操作是指一次性处理多个数据或任务的操作。它可以提高程序的效率和性能,减少代码的复杂性,并且可以避免频繁的单个操作。比如批量增删改、批量文件操作、批量网络请批量数据处理等。需要注意的是合理的批量操作大小、合理的数据结构、合理的异常处理来保证操作的稳定性和可靠性。异步处理
:异步处理是一种编程模式,通过将任务提交给异步执行的机制,可以在任务执行的同时继续执行其他操作,提高程序的并发性和响应性。常见的异步处理方式有异步IO操作、异步回调/事件驱动、多线程/多进程异步处理、消息队列等。并发处理
:并发处理是指在同一时间段内同时执行多个任务的能力。它可以提高程序的效率和性能,充分利用计算资源,并减少用户等待时间。可以使用多线程、多进程等。网络IO优化
:网络IO是指在计算机网络中进行输入和输出操作的过程。它涉及到数据的发送和接收,以及与网络通信相关的操作。常见的操作有数据发送、数据接收。实现方式有同步阻塞IO(BIO)、同步非阻塞IO(NIO)及异步IO(AIO)。可以从减少网络IO次数(比如前面提到的批处理、批请求等方式)、减少网络IO等待时间(异步IO或者多线程并发处理)、优化网络传输效率(比如压缩数据、使用更高效的网络协议或优化带宽等)及优化网络连接管理(复用连接、限制同时连接数量等方式)等方面优化。内存优化
:JVM参数调优、加大内存、合理的资源分配、避免数据泄露、使用合适的内存结构等。锁优化
:减少锁粒度、使用读写锁、使用无锁结构(CAS)、使用分段锁、避免锁嵌套等。
五、技术优化之架构优化
技术选型
:技术选型要从是否满足业务需求、系统稳定性、性能及技术社区的成熟度等方面综合考虑。空间换时间
:比如可以采用一些缓存、预计算及冗余等空间换时间的操作。分布式
:高并发、高扩展、容错、集群化等手段。云原生
:容器化、自动运维、弹性伸缩、微服务等。微服务
:可以做到服务单一化、高扩展性且灵活。拆分
:参考上述高并发优化。
当然除了上述一些技术手段,还可以进行前端优化,也可以从服务器侧优化,比如linux系统内核相关优化
。
内容较多,后面会慢慢针对以上几个方面展开叙述,关注我不迷路。
相关的思维导图: