Java开发之性能调优

性能调优有很多方面，往往要结合实际应用场景做性能优化才能达到最好的效果，下面是我总结的一些优化方案。

• Java代码优化（编写规范，代码逻辑，多线程）

• Redis缓存（热点数据，分布式事务）

• 数据库SQL优化，分库分表，读写分离

• 服务器性能优化

• MQ削峰填谷（消峰，异步）

• JVM调优

一、Java代码优化（编写规范，代码逻辑，多线程）

1.  代码逻辑和编写规范优化

•  清除冗余代码：对于无用代码，项目打包编译都是需要时间的，甚至也有可能被执行从而占用CPU和内存资源
• for循环优化：如果你知道在某个条件下循环不再需要继续执行，那么尽早使用 break 可以减少不必要的迭代次数，从而节省计算资源。
• 多次操作数据库：避免循环去查数据库，尽量使用关联查询
• 避免使用“+”号来拼接字符串：因为String是final修饰的，使用加号会创建多个String对象，可以使用StringBuilder或者StringBuffer
• 编码规范：避免重复创建对象，尽量重复利用，可以手动把无引用的对象置为null（垃圾回收期会优先回收无引用的对象），减少递归使用，递归层级过深会占用大量内存，影响性能，严重会导致内存溢出，开发者在使用之前要慎重考虑，尽量用for循环或者其他迭代方法替代
• 及时释放资源：确保在不再需要时及时关闭和释放文件、数据库连接、网络连接等资源。使用try-with-resources语句或在适当的位置显式关闭资源。

 2.  多线程

• 资源利用率提升：多线程能够充分利用多核CPU的资源，实现真正的并行处理。这意味着多个线程可以同时运行，从而提高了整体的执行效率。
• 响应速度加快：对于需要同时处理多个任务或请求的系统，多线程可以确保每个任务或请求都能得到及时的处理，从而提高了系统的响应速度。
• 简化编程模型：多线程允许程序员将复杂的任务分解为多个简单的子任务，每个子任务由一个线程来执行。这种分解使得编程模型更加简单和直观，降低了编程的复杂性。
• 提高系统的吞吐量：在多线程环境中，系统可以同时处理多个请求或任务，从而提高了系统的吞吐量。这对于需要处理大量并发请求的系统来说尤为重要。

 多线程实战 ThreadPoolExecutor实现多线程+实战_threadpoolexecutor 执行多个线程-CSDN博客

二、Redis缓存（数据缓存，集群）

 1、数据缓存

• 高性能：Redis基于内存存储，读写速度非常快，可以显著提升应用程序的响应速度和吞吐量。
• 降低数据库服务器负载：由于Redis可以快速响应请求，减少了频繁从数据库中读取数据的次数，从而降低了数据库服务器的负载。
• 实时数据分析和可视化：通过将数据缓存到Redis中，可以实现几乎实时的数据分析和可视化，对于运营和业务团队非常有用。
• 提高应用程序的可伸缩性：Redis缓存可以帮助应用程序提高可伸缩性，使其能够处理更多的并发请求。
• 数据持久性：Redis支持数据持久化，可以将内存中的数据保存到磁盘上，以防止数据丢失。这使得Redis更适合用作数据库，而不仅仅是缓存。

 2、集群模式

• 高可用性：Redis集群通过在多个节点之间分布数据来提高可用性。如果一个节点出现故障，集群仍然可以继续运行，不会导致整个系统宕机。此外，集群还具备自动故障转移功能，当主节点失败时，会自动从备份节点中选举一个新的主节点，保证服务的可用性。
• 负载均衡：集群将数据分片存储在多个节点上，实现了负载均衡。读取和写入操作可以均匀分布到不同的节点上，减轻单一节点的负载，提高了整体性能。
• 横向扩展：通过向集群中添加更多的节点，可以横向扩展Redis的性能和容量，以满足不断增长的请求和数据存储需求。
• 数据持久化：Redis集群支持数据持久化，可以定时将内存中的数据写入硬盘，以便在服务器停机或故障时恢复数据。
• 兼容性和易用性：Redis集群方案可以与现有系统无缝对接，自动检测集群节点的状态，避免集群的数据不一致。它支持多种客户端，可以满足不同类型的客户端需求，并且易于管理，只需要启动服务器，集群会自动进行分片，重新整合。
• 无单点故障：Redis集群没有单一的中心节点，因此不存在单点故障问题。如果一个节点失败，其他节点仍然可以提供服务。

 三、数据库SQL优化，分库分表，读写分离，分区

 1、数据库SQL优化

• 创建合适的索引：索引可以显著提高查询速度，特别是对于大型数据表。创建索引时，应遵循“选择性”原则，即为经常出现在WHERE子句、ORDER BY子句、GROUP BY子句和联表查询中的字段创建索引。然而，也需要注意避免过度索引，因为每增加一个索引，都会增加数据库的写操作开销。
• 编写优化的SQL语句：避免在SQL语句中使用SELECT *，而应明确指定需要的字段，以减少数据传输量。同时，应尽量避免在WHERE子句中使用非SARGable（Search Argumentable）函数或操作，如不等于（<>）、NOT IN、LIKE '%value%'等，这些操作会使数据库无法使用索引，导致全表扫描。
• 优化数据库设计：适当的数据库规范化设计可以减少数据冗余，提高数据存储效率。此外，还需要注意数据类型的选择，选择合适的数据类型可以节省存储空间，并可能提高查询速度。
• 数据库服务器优化：这包括调整数据库服务器的配置参数，如内存分配、线程数等，以适应特定的工作负载。此外，定期监控数据库的性能指标，如查询响应时间、CPU使用率、内存使用率等，也是非常重要的。
• 使用查询缓存：大多数现代数据库系统都支持查询缓存。当相同的查询再次被执行时，如果查询结果已经存在于缓存中，那么数据库可以直接从缓存中获取结果，而无需重新执行查询。这可以大大提高查询性能。
• 分区和分片：对于非常大的数据表，可以考虑使用分区或分片技术。分区是将一个大的数据表物理上分割成多个小的、更易于管理的片段，而分片则是将数据分布到多个数据库或服务器上。这些技术可以提高查询性能，并降低维护复杂性。

 2、分库分表

        数据库分库分表是一种解决单一数据库性能瓶颈、提高数据库扩展性和可用性的有效手段。其主要思想是将一个大的数据库或表按照某种规则拆分成多个小的数据库或表，并将它们分散到不同的服务器或实例上，从而实现数据的分布存储和并行处理。 

• 垂直切分：
  • 垂直分库：根据业务模块的不同，将不同的表存储到不同的数据库中。这样做可以将不同业务的数据进行隔离，降低业务之间的耦合度，便于独立维护和扩展。
  • 垂直分表：将一个大表中的某些列按照业务关联性进行拆分，形成多个小表。每个小表只包含部分列，可以减少表的宽度，提高某些查询的性能。
• 水平切分：
  • 水平分库：根据某种规则（如范围、哈希等）将一个大表的数据拆分到多个不同的数据库中。每个数据库包含该表的部分数据，这些数据库可以分布在不同的服务器上，从而实现数据的水平扩展和负载均衡。
  • 水平分表：与水平分库类似，只是拆分的粒度更小，是在同一个数据库中进行的。将一个大表的数据按照某种规则拆分成多个结构相同的小表，每个小表只包含部分数据。这样可以降低单一表的数据量，提高查询性能。

       然而，分库分表也带来了一些挑战和复杂性，如跨库查询的复杂性、数据一致性的维护、事务处理的复杂性等。因此，在实施分库分表之前，需要仔细评估业务需求、数据量、查询模式等因素，并选择合适的切分策略和工具。

 3、读写分离

      读写分离技术，其基本的原理是让主数据库处理事务性增、改、删操作（INSERT、UPDATE、DELETE），而从数据库处理SELECT查询操作。数据库复制被用来把事务性操作导致的变更同步到集群中的从数据库。

       数据库进行读写分离的原因主要是数据库的“写”操作（如插入、更新数据）通常比“读”操作（如查询数据）更加耗时。因为它们涉及到数据的变更和可能的事务处理。而读操作（如SELECT）通常对系统资源的消耗较少。因此，当系统中查询操作较多时，如果所有的读写操作都集中在同一个数据库上，就会导致写入操作影响查询效率，甚至可能引发性能瓶颈。通过实施读写分离策略，可以确保写操作主要发生在主数据库上，而读操作则从从数据库中进行，从而分担数据库压力，提高系统性能。

4、分区 

MySQL的分区（Partitioning）功能允许你将一个大的表、索引或索引合并表的数据和索引分割成更小、更易于管理的片段，这些片段在物理上可以是分开的，但在逻辑上仍然表现为一个单一的表。以下是MySQL分区的一些主要好处： 

• 性能提升：
  • 查询性能：对于某些查询，MySQL可以只扫描包含所需数据的分区，而不是扫描整个表。这可以显著提高查询性能。
  • 维护性能：在大数据表上执行如OPTIMIZE TABLE、BACKUP、RESTORE等操作时，可以只针对一个或多个分区进行操作，而不是整个表。这可以显著减少这些操作所需的时间和资源。
• 管理方便：
  • 备份和恢复：可以单独备份和恢复表的每个分区，而不是整个表。这对于大数据表非常有用，因为它允许你更灵活地管理数据备份和恢复。
  • 数据归档：你可以基于时间或其他标准将数据分区，并轻松地将旧数据移动到归档存储或删除。
• 可用性和可靠性：
  • 故障转移：如果一个分区出现问题（如硬件故障），其他分区仍然可以保持在线和可用。
  • 在线DDL：在某些情况下，对分区进行DDL操作（如ALTER TABLE）可以比对整个表进行这些操作更快，并且可能允许这些操作在表仍然在线和可查询的情况下进行。
• 查询优化：
  • 分区可以使得某些查询优化策略更加有效，例如使用分区修剪（partition pruning）来避免不必要的扫描。
• 扩展性：
  • 随着数据的增长，你可以通过添加新的分区来扩展表，而不是需要不断地重新设计或重构表。
• 简化数据管理：
  • 你可以基于业务需求定义分区键（如日期或ID范围），这使得数据的存储和检索更加直观和易于管理。
• 硬件利用：
  • 你可以根据数据的访问模式和硬件的性能特征来优化分区的存储。例如，你可以将频繁访问的数据分区放在更快的存储上，而将较少访问的数据分区放在较慢但更便宜的存储上。

请注意，虽然分区提供了许多好处，但它并不总是适用于所有情况。在决定是否使用分区之前，你应该仔细评估你的应用程序的需求和性能瓶颈。在某些情况下，其他技术（如归档、复制、分片或集群）可能更适合你的需求。

 四、服务器性能

1、硬件升级与优化：

• 增加内存：更多的内存意味着服务器可以同时处理更多的请求，减少等待时间。
• 使用SSD：与传统硬盘相比，固态硬盘具有更快的读写速度，可以显著提高数据访问速度。
• 多核处理：利用多核CPU的特性，通过多进程或多线程框架来分配任务，提高并行处理能力。

2、网络性能优化：

• 优化带宽：增加带宽可以提高数据传输速度，减少网络延迟。
• 负载均衡：通过负载均衡器分发请求到多个服务器上，避免单一服务器过载。
• SYN攻击防护：配置防火墙规则，限制短时间内来自同一IP地址的SYN包数量，以减轻SYN攻击对网络的影响。

3、操作系统与软件优化：

• 关闭不必要的服务：减少后台运行的服务数量，释放系统资源。
• 优化文件系统：选择适合工作负载的文件系统，如XFS或EXT4，并进行适当的挂载选项设置。
• 更新软件版本：保持操作系统、数据库和其他关键软件的最新版本，以获取性能改进和安全修复。

4、数据库优化：

• 分区和分表：根据业务规则对数据库进行分区或分表，提高查询速度和数据处理能力。
• 索引优化：根据查询需求创建合适的索引，减少全表扫描，提高查询效率。
• 缓存策略：使用缓存技术，如Redis或Memcached，缓存常用查询结果，减少对数据库的访问。

5、前端性能优化：

• 服务端渲染（SSR）：利用服务器端渲染技术，提高首屏加载速度和SEO效果。
• 启用GZIP压缩：对传输的文本数据进行压缩，减少网络带宽的占用，加快传输速度。
• 优化图片和静态资源：压缩图片大小，使用CDN加速静态资源的访问。

6、监控与日志分析：

• 性能监控：使用监控工具实时监控服务器的性能指标，如CPU、内存、磁盘和网络使用情况。
• 日志分析：分析服务器日志，找出性能瓶颈和潜在问题，进行相应的优化调整。

五、MQ削峰填谷

1、流量控制 

•  MQ可以作为一种缓冲区，用于暂存系统接收到的请求或消息。在请求量突然激增时，MQ可以吸收这些额外的请求，从而避免系统直接面临过载的风险。通过这种方式，MQ能够有效地削平流量峰值，防止系统因瞬间的高并发请求而崩溃。

2、异步处理

•  MQ允许请求的处理过程异步进行。这意味着系统可以在接收到请求后，立即将请求放入队列中，并继续处理其他任务。后台工作线程或进程可以异步地从队列中取出请求进行处理，从而提高了系统的吞吐量和响应速度。

3、解耦与扩展性

•  MQ将消息的发送者和接收者之间的直接依赖关系解耦，使得它们可以独立地进行扩展和部署。这种解耦设计不仅提高了系统的灵活性，还使得系统更易于维护和扩展。当系统需要处理更多的请求时，可以简单地增加更多的消费者来处理队列中的消息，从而实现水平扩展。

4、容错于可靠性

•  MQ通常具有容错和可靠性机制，如持久化存储、消息确认和重试机制等。这些机制可以确保即使在系统出现故障或网络中断的情况下，消息也不会丢失，并且能够在故障恢复后继续处理。 

六、JVM调优

1、堆内存调优：

• 调整JVM的堆内存大小可以帮助避免内存溢出，并提高垃圾回收的效率。可以通过-Xms和-Xmx参数来设置JVM的初始堆大小和最大堆大小。合理的堆内存设置可以减少GC的频率，从而提高应用程序的性能。

2、垃圾回收器选择和调优：

• 选择合适的垃圾回收器（如Parallel GC、CMS或G1 GC）对于提高应用的响应速度和吞吐量至关重要。每种垃圾回收器都有其特点和适用场景，需要根据应用程序的具体需求进行选择。
• 调整垃圾回收器的相关参数，如堆分区大小、新生代和老年代的比例等，可以进一步优化垃圾回收的性能。

3、线程堆栈大小调优：

• 合理的线程堆栈大小有助于提高线程创建和管理的效率。可以根据应用程序的线程使用情况来调整线程堆栈大小，以避免过多的内存占用或堆栈溢出的问题。

4、JIT编译器调优：

• Java虚拟机中的JIT（Just-In-Time）编译器可以将频繁执行的热点代码编译成机器码，从而提高执行效率。可以通过调整JIT编译器的相关参数，如编译阈值、优化级别等，来进一步优化性能。

5、代码和算法优化：

• 除了JVM层面的调优外，还可以通过优化代码和算法来提高应用程序的性能。例如，避免创建不必要的对象、减少锁的使用、优化循环和递归等。

6、监控和分析工具：

• 使用JVM监控和分析工具（如jconsole、jvisualvm、jprofiler等）可以帮助识别性能瓶颈和问题所在，从而有针对性地进行调优。