Apache ShardingSphere实战与核心源码剖析(三)

3.搭建基础环境

3.1 安装环境

  1. jdk: 要求jdk必须是1.8版本及以上

  2. MySQL: 推荐mysql5.7版本

  3. 搭建两台MySQL服务器

    mysql-server1 192.168.52.10
    mysql-server2 192.168.52.11
    

3.2 创建数据库和表

在这里插入图片描述

  1. 在mysql01服务器上, 创建数据库 msb_payorder_db,并创建表pay_order
CREATE DATABASE msb_payorder_db CHARACTER SET 'utf8';

CREATE TABLE `pay_order` (
  `order_id` bigint(20) NOT NULL AUTO_INCREMENT,
  `user_id` int(11) DEFAULT NULL,
  `product_name` varchar(128) DEFAULT NULL,
  `COUNT` int(11) DEFAULT NULL,
  PRIMARY KEY (`order_id`)
) ENGINE=InnoDB AUTO_INCREMENT=12345679 DEFAULT CHARSET=utf8
  1. 在mysql02服务器上, 创建数据库 msb_user_db,并创建表users
CREATE DATABASE msb_user_db CHARACTER SET 'utf8';

CREATE TABLE `users` (
  `id` int(11) NOT NULL,
  `username` varchar(255) NOT NULL COMMENT '用户昵称',
  `phone` varchar(255) NOT NULL COMMENT '注册手机',
  `PASSWORD` varchar(255) DEFAULT NULL COMMENT '用户密码',
  PRIMARY KEY (`id`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8 COMMENT='用户表'

3.3 创建SpringBoot程序

1) 创建项目

环境说明:SpringBoot2.3.7+ MyBatisPlus + ShardingSphere-JDBC 5.1 + Hikari+ MySQL 5.7

Spring脚手架: http://start.aliyun.com

在这里插入图片描述

2) 引入依赖
  <dependencies>
        <dependency>
            <groupId>org.springframework.boot</groupId>
            <artifactId>spring-boot-starter-web</artifactId>
        </dependency>

        <dependency>
            <groupId>org.apache.shardingsphere</groupId>
            <artifactId>shardingsphere-jdbc-core-spring-boot-starter</artifactId>
            <version>5.1.1</version>
        </dependency>

        <dependency>
            <groupId>com.baomidou</groupId>
            <artifactId>mybatis-plus-boot-starter</artifactId>
            <version>3.3.1</version>
        </dependency>

        <dependency>
            <groupId>mysql</groupId>
            <artifactId>mysql-connector-java</artifactId>
            <scope>runtime</scope>
        </dependency>

        <dependency>
            <groupId>org.projectlombok</groupId>
            <artifactId>lombok</artifactId>
        </dependency>

        <dependency>
            <groupId>org.springframework.boot</groupId>
            <artifactId>spring-boot-starter-test</artifactId>
            <scope>test</scope>
            <exclusions>
                <exclusion>
                    <groupId>org.junit.vintage</groupId>
                    <artifactId>junit-vintage-engine</artifactId>
                </exclusion>
            </exclusions>
        </dependency>
    </dependencies>
3) 创建实体类
@TableName("pay_order") //逻辑表名
@Data
@ToString
public class PayOrder {

    @TableId
    private long order_id;

    private long user_id;

    private String product_name;

    private int count;

}

@TableName("users")
@Data
@ToString
public class User {

    @TableId
    private long id;

    private String username;

    private String phone;

    private String password;

}
4) 创建Mapper
@Mapper
public interface PayOrderMapper extends BaseMapper<PayOrder> {
}

@Mapper
public interface UserMapper extends BaseMapper<User> {
}

4. 实现垂直分库

4.1 配置文件

使用sharding-jdbc 对数据库中水平拆分的表进行操作,通过sharding-jdbc对分库分表的规则进行配置,配置内容包括:数据源、主键生成策略、分片策略等。

application.properties

  • 基础配置

    # 应用名称
    spring.application.name=sharding-jdbc
    
  • 数据源

    # 定义多个数据源
    spring.shardingsphere.datasource.names = db1,db2
    
    #数据源1
    spring.shardingsphere.datasource.db1.type = com.zaxxer.hikari.HikariDataSource
    spring.shardingsphere.datasource.db1.driver-class-name = com.mysql.jdbc.Driver
    spring.shardingsphere.datasource.db1.url = jdbc:mysql://192.168.52.10:3306/msb_payorder_db?characterEncoding=UTF-8&useSSL=false
    spring.shardingsphere.datasource.db1.username = root
    spring.shardingsphere.datasource.db1.password = QiDian@666
    
    #数据源2
    spring.shardingsphere.datasource.db2.type = com.zaxxer.hikari.HikariDataSource
    spring.shardingsphere.datasource.db2.driver-class-name = com.mysql.jdbc.Driver
    spring.shardingsphere.datasource.db2.url = jdbc:mysql://192.168.52.11:3306/msb_user_db?characterEncoding=UTF-8&useSSL=false
    spring.shardingsphere.datasource.db2.username = root
    spring.shardingsphere.datasource.db2.password = QiDian@666
    
  • 配置数据节点

    # 标准分片表配置
    # 由数据源名 + 表名组成,以小数点分隔。多个表以逗号分隔,支持 inline 表达式。
    spring.shardingsphere.rules.sharding.tables.pay_order.actual-data-nodes=db1.pay_order
    spring.shardingsphere.rules.sharding.tables.users.actual-data-nodes=db2.users
    
  • 打开sql输出日志

mybatis-plus.configuration.log-impl=org.apache.ibatis.logging.stdout.StdOutImpl

4.2 垂直分库测试

@SpringBootTest
class ShardingJdbcApplicationTests {

    @Autowired
    private UserMapper userMapper;

    @Autowired
    private PayOrderMapper payOrderMapper;

    @Test
    public void testInsert(){
        User user = new User();
        user.setId(100000);
        user.setUsername("小姐姐");
        user.setPhone("13838383833");
        user.setPassword("123456");
        userMapper.insert(user);

        PayOrder payOrder = new PayOrder();
        payOrder.setOrder_id(123456);
        payOrder.setProduct_name("大姐姐");
        payOrder.setUser_id(user.getId());
        payOrder.setCount(2);
        payOrderMapper.insert(payOrder);
    }

    @Test
    public void testSelect(){

        User user = userMapper.selectById(1001);
        System.out.println(user);
        PayOrder payOrder = payOrderMapper.selectById(100000);
        System.out.println(payOrder);
    }

}
  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
### 回答1: 这是一个 Hive 元数据异常。它表明 Hive 元数据存储库(通常是 MySQL 数据库)的初始化失败了,导致元数据存储库的状态不一致。这通常是由于元数据存储库的配置错误或连接错误导致的。建议检查元数据存储库的配置,确保它与 Hive 配置中指定的相匹配,并检查元数据存储库是否可以连接。 ### 回答2: org.apache.hadoop.hive.metastore.hivemetaexception: schema initialization failed! metastore state would be inconsistent!!这个错误通常是由于Hive的元数据存储在元数据服务中的Hive的表模式未正确初始化而导致的。如果没有正确初始化表模式,则会导致元数据服务的状态不一致,并影响到Hive的元数据查找和管理。 通常,这种情况可以通过执行以下步骤来解决: 1.检查Hive的配置文件是否正确设置元数据存储的位置。 2.检查Hive元数据存储的位置是否存在且可用。 3.检查Hive元数据存储是否已经初始化,如果未初始化,则需要运行Hive的元数据初始化脚本来初始化元数据存储。 4.检查Hive的版本是否与使用的Hadoop版本兼容。 5.检查Hadoop和Hive的日志,以查找可能导致Hive元数据存储出现问题的原因。 总之,当Hive的元数据服务无法启动时,了解这个错误的原因并采取适当的措施是非常重要的。虽然解决这个问题可能会需要一些时间和努力,但是成功解决问题将确保正常运行Hive,提供高效的操作和查询服务。 ### 回答3: 这个错误提示来自于Hadoop中的Hive元数据存储服务(Hive Metastore)。Hive Metastore是一个服务,它与Hive关系密切,用于存储和管理Hive系统元数据,包括表结构、表数据的位置和格式、表分区信息等。当我们尝试启动Hive Metastore服务时,如果遇到这个错误提示,那么说明Hive Metastore的元数据存储出现了问题,无法正确地初始化。 解决这个问题的方法比较复杂,因为导致问题的原因可能有很多种。以下是一些可能的原因和解决方法: 1. 数据库连接问题 Hive Metastore需要连接一个数据库(默认是Derby数据库),如果数据库连接出现了问题,就会出现这个错误。检查数据库是否正常运行,并确认Hive Metastore的配置文件中设置了正确的数据库连接参数。 2. 元数据损坏 Hive Metastore中存储的元数据可能会出现损坏,导致Hive Metastore无法初始化。可以考虑使用Hive自带的一些工具对元数据进行修复,比如Metastore Upgrade Tool。 3. 数据库权限问题 如果数据库的用户权限设置不正确,可能会导致Hive Metastore无法正常工作。需要确认Hive Metastore使用的数据库用户拥有正确的数据库权限,并在配置文件中设置正确的用户和密码信息。 4. 磁盘空间不足 如果Hive Metastore存储元数据的磁盘空间不足,可能会导致初始化失败。需要检查磁盘空间是否足够,并清理不必要的文件。 总之,解决这个错误需要仔细分析问题的根本原因,并采取相应的措施进行调整和修复。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值