sql server 多用户并发_Tinyid：滴滴开源千万级并发的分布式ID生成器

最新推荐文章于 2022-02-12 08:00:00 发布

人行有师

最新推荐文章于 2022-02-12 08:00:00 发布

阅读量275

点赞数

文章标签： sql server 多用户并发

本文链接：https://blog.csdn.net/weixin_29279101/article/details/113626004

版权

Tinyid是一个ID生成器服务，它提供了REST API和Java客户端两种获取方式，如果使用Java客户端获取方式的话，官方宣称能单实例能达到1kw QPS(Over 10 million QPS per single instance when using the java client)，我的妈呀！

说明：Tinyid要求JDK是1.7+即可。

Github

Tinyid开源的Github地址：https://github.com/didi/tinyid。

运行Tinyid

将Tinyid源码下载到本地，并导入idea后，接下来准备把它运行起来。

1. 导入SQL

Tinyid依赖的SQL脚本路径：tinyid/tinyid-server/db.sql，是MySQL数据库的脚本。登陆mysql客户端并创建一个tinyid数据库后，执行命令 source /data/tinyid/tinyid-server/db.sql。如果show tables后能看到两个表tinyidinfo和tinyidtoken表示创建成功。并且脚本已经初始化了两条数据：

mysql> select id,token,biz_type from tiny_id_token;

+----+----------------------------------+----------+

| id | token | biz_type |

+----+----------------------------------+----------+

| 1 | 0f673adf80504e2eaa552f5d791b644c | test |

| 2 | 0f673adf80504e2eaa552f5d791b644c | test_odd |

+----+----------------------------------+----------+

2 rows in set (0.08 sec)

mysql> select id,biz_type,begin_id,max_id,step,delta from tiny_id_info;

+----+----------+----------+--------+--------+-------+

+----+----------+----------+--------+--------+-------+

| 1 | test | 1 | 1 | 100000 | 1 |

| 2 | test_odd | 1 | 1 | 100000 | 2 |

+----+----------+----------+--------+--------+-------+

2 rows in set (0.01 sec)

2. mysql依赖

这里需要注意的是，tinyid项目默认依赖5.x版本MySQL驱动包，Maven坐标如下：

mysql

mysql-connector-java

5.1.44

如果你的MySQL服务器是8.x版本(笔者本地就是8.x的MySQL)，可能会碰到在启动过程中报连接数据库错误：

Caused by: java.sql.SQLException: Unable to load authentication plugin 'caching_sha2_password'.

at com.mysql.jdbc.SQLError.createSQLException(SQLError.java:868) ~[mysql-connector-java-5.1.44.jar:5.1.44]

at com.mysql.jdbc.SQLError.createSQLException(SQLError.java:864) ~[mysql-connector-java-5.1.44.jar:5.1.44]

at com.mysql.jdbc.MysqlIO.proceedHandshakeWithPluggableAuthentication(MysqlIO.java:1746) ~[mysql-connector-java-5.1.44.jar:5.1.44]

at com.mysql.jdbc.MysqlIO.doHandshake(MysqlIO.java:1226) ~[mysql-connector-java-5.1.44.jar:5.1.44]

... ...

这样的话，需要将你的MySQL驱动升级到8.x版本(说明：如果你是其他MySQL版本，启动tinyid时碰到类似的异常，那么MySQL驱动版本请视情况而定进行升级)：

mysql

mysql-connector-java

8.0.11

3. 修改配置

接下来需要更新配置application.properties文件。主要更新数据库相关配置，具体值根据你的MySQL环境而定：

datasource.tinyid.primary.driver-class-name=com.mysql.jdbc.Driver

datasource.tinyid.primary.url=jdbc:mysql://localhost:3306/tinyid?autoReconnect=true&useUnicode=true&characterEncoding=UTF-8

datasource.tinyid.primary.username=afei

datasource.tinyid.primary.password=afei

4. 启动tinyid

tinyid项目基于Springboot开发的，所以启动非常简单。只需要运行主类TinyIdServerApplication.java即可。运行后如果能看到如下日志，表示启动成功：

00:20:55,761 [main] [INFO] o.s.b.c.e.t.TomcatEmbeddedServletContainer - Tomcat started on port(s): 9999 (http)

00:20:55,767 [main] [INFO] c.x.u.t.s.TinyIdServerApplication - Started TinyIdServerApplication in 5.092 seconds (JVM running for 6.29)

00:21:00,001 [pool-3-thread-1] [INFO] c.x.u.t.s.s.i.TinyIdTokenServiceImpl - refresh token begin

00:21:00,002 [pool-3-thread-1] [INFO] c.x.u.t.s.s.i.TinyIdTokenServiceImpl - tinyId token init begin

00:21:00,006 [pool-3-thread-1] [INFO] c.x.u.t.s.s.i.TinyIdTokenServiceImpl - tinyId token init success, token size:2

00:22:00,001 [pool-3-thread-1] [INFO] c.x.u.t.s.s.i.TinyIdTokenServiceImpl - refresh token begin

。。。。。。

5. 获取唯一ID

接下来可以尝试通过REST API获取分布式唯一ID，请求实例如下，bizType和token的值请参考tinyidtoken表：

http://localhost:9999/tinyid/id/nextId?bizType=test&token=0f673adf80504e2eaa552f5d791b644c

Client集成

tinyid还支持Client集成模式，只需要引入如下Maven坐标：

com.xiaoju.uemc.tinyid

tinyid-client

${tinyid.version}

然后在你的classpath路径下创建配置文件tinyid_client.properties，内容如下，这两个参数就是IdGeneratorFactoryClient.java中tinyid服务端请求地址"http://{0}/tinyid/id/nextSegmentIdSimple?token={1}&bizType="的第一个和第二个参数：

tinyid.server=localhost:9999

tinyid.token=0f673adf80504e2eaa552f5d791b644c

tinyid.server还支持多个地址配置，多个地址之间以英文逗号隔开，例如：tinyid.server=host1:9999,tinyid.server=host2:9999。

接下来，就能简单的通过调用tinyid封装的API获取分布式ID，实例代码如下，test就是bizType的值：

// 单个分布式ID获取

Long id = TinyId.nextId("test");

// 多个分布式ID批量获取

List<Long> ids = TinyId.nextId("test", 10);

通过配置可知，tinyid-client本质上还是依赖tinyid-server，只不过它封装了对tinyid-server的HTTP请求，然后暴露最简单的API给用户使用而已。它对tinyid-server的HTTP请求封装在TinyIdHttpUtils.java中，依赖JDK原生的HttpURLConnection，居然没有使用其他第三方优秀的HTTP Client包例如okhttp！

tinyid原理

tinyid的原理非常简单，通过数据库表中的数据基本是就能猜出个八九不离十，就是经典的segment模式，和美团的leaf原理几乎一致。原理图如下所示，以同一个bizType为例，每个tinyid-server会分配到不同的segment，例如第一个tinyid-server分配到(1000, 2000]，第二个tinyid-server分配到(2000, 3000]，第3个tinyid-server分配到(3000, 4000]：

再以第一个tinyid-server为例，当它的segment用了20%(核心源码：segmentId.setLoadingId(segmentId.getCurrentId().get() + idInfo.getStep() * Constants.LOADINGPERCENT / 100);，LOADINGPERCENT的值就是20)，即设定loadingId为20%的阈值，例如当前id是10000，步长为10000，那么loadingId=12000。那么当请求分布式ID分配到12001时(或者重启后)，即超过loadingId，就会返回一个特殊code：new Result(ResultCode.LOADING, id);tinyid-server根据ResultCode.LOADING这个响应码就会异步分配下一个segment(4000, 5000]，以此类推。

近期热文

面试官问：MySQL的自增ID用完了，怎么办？
ArrayList插入1000w条数据之后，我怀疑了jvm...
蚂蚁二面，面试官问我零拷贝的实现原理，当场懵了…

最后，分享一份面试宝典《Java核心知识点整理.pdf》，覆盖了JVM、锁、高并发、反射、Spring原理、微服务、Zookeeper、数据库、数据结构等等。

获取方式：点“在看”，关注公众号并回复 Java 领取，更多内容陆续奉上

明天见(｡･ω･｡)ﾉ♡

人行有师

关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
sql server 多用户并发_Tinyid：滴滴开源千万级并发的分布式ID生成器

Tinyid是一个ID生成器服务，它提供了REST API和Java客户端两种获取方式，如果使用Java客户端获取方式的话，官方宣称能单实例能达到1kwQPS(Over10 million QPSper single instance when using the java client)，我的妈呀！说明：Tinyid要求JDK是1.7+即可。GithubTinyid开源的Gith...
复制链接

扫一扫