【面试必备】大型Java项目在设计架构时如何分库分表？

对于大型Java项目，分库分表是数据库架构优化的一种重要手段。下面将详细解释为什么要进行分库分表，如何进行分库分表，以及分库分表的优缺点。

• 解决大数据量问题：随着业务的发展，单表的数据量可能迅速增长，达到千万级甚至亿级。此时，单表的处理能力和IO能力都会成为瓶颈，查询性能会急剧下降。分库分表可以有效地将大数据量分散到多个数据库或表中，提高查询性能。
• 提高系统性能和稳定性：通过将数据分散到多个数据库或表中，可以并行处理更多的请求，提高系统的吞吐量和响应速度。同时，由于每个数据库或表的数据量减少，系统的稳定性也会得到提升。

如何进行分库分表

分库分表主要包括垂直切分和水平切分两种方式。

1、垂直切分

垂直分库和垂直分表都是数据库架构优化的策略，它们的主要目标是提高数据库的性能和可维护性。

• 垂直分库是指按照业务将表进行分类，分布到不同的数据库上面，每个库可以放在不同的服务器上。 这种方法的核心理念是“专库专用”，即每个库负责处理一件事或一类事。例如，一个电商平台可能会将用户信息、商品信息和订单信息分别存放在不同的数据库中，以提高业务清晰度和处理效率。
• 垂直分表则是将一张宽表的字段按访问频次、是否是大字段的原则拆分为多个表，这些表通过主键进行关联，从而组成完整的数据。 分表之后，每张表的结构都不相同。这种策略能使业务更清晰，并可能提升部分性能。
• 垂直分库和垂直分表都是为了优化数据库架构，提高性能和可维护性。它们的主要区别在于操作的对象和目的不同：垂直分库关注的是将不同的业务数据分布到不同的数据库上，而垂直分表则关注的是将同一张表的字段拆分到多张表中。

1、切分步骤

• 识别切分点：分析现有表结构，找出可以垂直切分的列或表。确定哪些列或表是访问频繁的，或者数据量大的。
• 设计新的表结构：创建新的表来存放被切分出来的列。设计主键和外键关系，保证数据的完整性和一致性。
• 数据迁移：将原有表中的数据迁移到新表中。确保数据迁移过程中的完整性和一致性。
• 修改Java代码：修改Java项目中与数据库交互的代码，以适应新的表结构。
• 测试修改。

2、文字示例

假设我们有一个用户表user_info，它包含用户的各种信息，如id、username、password、email、phone、address等字段。考虑到安全性和查询性能，我们可能希望将敏感信息（如password）和非敏感信息分开存储。因此，我们可以将user_info表进行垂直拆分。

• 敏感信息表结构：id 做自增主键，包括 username、email、phone、address 等字段。
• 非敏感信息表结构：id 做自增主键，user_id 做外键，对应敏感信息表中的 id ，password 字段。

3、优点

• 业务清晰与解耦：垂直切分有助于清晰地划分业务边界，实现业务层面的解耦。 通过将不同业务的数据分散到不同的数据库或表中，可以使得每个数据库或表只关注于特定的业务逻辑，从而提高业务清晰度和可维护性。
• 性能提升：在高并发场景下，垂直切分可以提升IO性能、数据库连接性能，并降低单机硬件资源的瓶颈。 通过将数据分散到多个数据库或表中，可以减少单个数据库或表的负载，提高整体性能。
• 易于扩展和管理：垂直切分使得数据库或表的扩展变得更加容易。当某个业务的数据量或访问量增长时，可以单独对该业务的数据库或表进行扩展，而不会影响其他业务。
• 垂直切分也有助于对不同的业务数据进行分级管理、维护、监控和扩展。

4、缺点

• 联查复杂性：垂直切分后，不同业务的数据分散在不同的数据库或表中，可能导致跨库或跨表的联查操作。 这种联查操作通常比在同一数据库或表中进行的查询更复杂，可能影响性能。虽然可以通过接口聚合等方式解决，但会增加开发的复杂度。
• 事务处理难度：垂直切分可能增加分布式事务处理的难度。 由于数据分散在不同的数据库或表中，跨库或跨表的事务处理需要更复杂的协调和保证机制，可能引入额外的复杂性和风险。
• 数据一致性和完整性挑战：垂直切分可能导致数据一致性和完整性的挑战。在拆分过程中，需要确保数据的一致性和完整性不被破坏，这可能需要额外的数据同步和校验机制。

2、水平切分

水平分库和水平分表都是数据库架构优化的策略，主要用于解决单一数据库或表在数据量过大时面临的性能瓶颈问题。

• 水平分库，也称为横向切分或分片，主要是将同一个表的数据按照一定规则拆分到不同的数据库中，每个库可以放在不同的服务器上。 以字段为依据，按照一定策略（如hash、range等），将一个库中的数据拆分到多个库中。每个库的结构都一样，但每个库的数据都不一样，没有交集，所有库的并集是全量数据。当应用难以再细粒度的垂直拆分，或垂直切分后数据量行数巨大，存在单库读写、存储性能瓶颈时，就需要进行水平分库。
• 水平分表则是将一个表中的数据按照一定规则拆分到多个表中。 这些表的结构相同，但数据不同，没有交集，所有表的并集是全量数据。水平分表主要用于解决单表数据量过大，影响SQL效率，加重CPU负担的问题。通过水平分表，表的数据量减少，单次SQL执行效率提高，从而减轻CPU的负担。

1、文字示例

假设我们有一个订单表orders，随着业务的发展，订单量急剧增长，单个数据库实例已无法满足性能要求。因此，我们决定使用水平切分的方式将订单表分散到多个数据库实例中。

原始表结构的字段有 order_id，user_id，product_id，quantity，order_date 等多个字段，其中order_id 是自增主键，user_id 是外键，关联user表中id，product_id 是外键，关联product表中的id。

水平切分策略：可以根据order_id的范围或哈希值来决定每个订单应该存储在哪个数据库实例中。例如，我们可以将order_id为1到1000000的订单存储在数据库实例A中，将order_id为1000001到2000000的订单存储在数据库实例B中。也可以根据user_id 的不同来决定每个订单应该存储在哪个表中。

2、优点

• 解决单库性能瓶颈：水平切分可以有效地解决单一数据库或表在数据量过大时面临的性能瓶颈问题。通过将数据分散到多个数据库或表中，水平分库可以大大缓解IO和CPU的压力， 实现数据库的无限横向拓展，可以降低单个数据库或表的负载,从而解决单库存储量及性能的瓶颈。
• 提高系统稳定性：水平切分能够分散负载，避免单点故障，从而提高系统的稳定性和可靠性。当某个数据库或表出现问题时，其他数据库或表仍然可以正常工作，保证系统的持续运行。
• 易于扩展：水平切分使得数据库或表的扩展变得更加容易。当数据量或访问量增长时，可以简单地添加更多的数据库或表来分散负载，无需对原有的数据或结构进行大的改动。

3、缺点

• 跨分片事务一致性难以保证：水平切分后，数据分散在不同的数据库或表中，跨分片的事务处理变得复杂。 确保跨多个分片的事务一致性和原子性是一个挑战，可能需要引入分布式事务管理机制，增加系统的复杂性和开销。
• 跨库查询性能下降：水平切分可能导致跨库查询的性能下降。当需要查询的数据分布在不同的数据库或表中时，需要进行跨库查询，这通常比在同一数据库或表中进行的查询更慢，可能影响用户体验和响应速度。
• 数据维护难度增加：水平切分后，数据的维护和管理变得更加复杂。需要确保各个分片之间的数据一致性和完整性，同时还需要考虑数据的备份、恢复和迁移等问题。此外，对于跨分片的数据修改和更新操作，也需要进行额外的协调和处理。