mysql 多线程_数据库选型之MySQL(多线程并发)

本博客记录作者在工作与研究中所经历的点滴，一方面给自己的工作与生活留下印记，另一方面若是能对大家有所帮助，则幸甚至哉矣！

简介

鉴于高频中心库task部分占用机器较多，为节省成本，调研数据库或缓存。在数据库选型之MySQL(二)中，在固态硬盘本地访问MySQL可以满足其10000次/s操作的需求，由于实际环境中存在多个品种(多进程、多线程访问数据库)的业务需求，因此，本文采用多线程在固态硬盘本地访问MySQL展开测试，以期对高频中心库后期架构调整提供实践参考。需要指出，本文作者对该种节省成本的解决方案是不赞成的。

测试环境

硬件环境

10.1.120.34：Intel Core I5-4590, 主频：3.30G,  内存：16G， 有固态硬盘

软件环境：

10.1.120.34: Cent OS 6.5,  MySQL 5.6.26 (社区版)

性能测试

针对高频生产的应用需求，本文构造高频中心库系统的数据结构，采用多线程模拟业务需求对本地节点MySQL进行写入操作，分别存储数据总量为60K、100K、600K条数据，对其速率进行测试。需要指出，由于常见I/O访问的瓶颈主要受限于写入测试，本文只针对写入操作进行测试，暂不考虑读取操作或者混合读写方式，若写入操作不满足要求，其它操作无需测试。

因为10.1.120.34上采用固态硬盘作为存储介质，其安装有MySQL，根据应用场景，分别从10、20、30个线程并发访问MySQL 展开测试。

测试整个结果见图-1:

图-1 完整测试结果

10个线程

从10个线程执行事务处理，需要指出，事务处理数据量固定为1000，以下多线程情况与之类同，不再赘述，10个线程的平均速率见表-1。

表-1  10个线程下每个线程平均访问MySQL测试结果

节点

数据库IP

数据量(K)

平均写入速率(条/s)

本地节点

10.1.120.34

60

4085

本地节点

10.1.120.34

100

4607

本地节点

10.1.120.34

600

3021

20个线程

从20个线程执行事务处理，20个线程的平均速率见表-2。

表-2  20个线程下每个线程平均访问MySQL测试结果

节点

数据库IP

数据量(K)

平均写入速率(条/s)

本地节点

10.1.120.34

60

1945

本地节点

10.1.120.34

100

2149

本地节点

10.1.120.34

600

1525

30个线程

从30个线程执行事务处理，30个线程的平均速率见表-3。

表-3  30个线程下每个线程平均访问MySQL测试结果

节点

数据库IP

数据量(K)

平均写入速率(条/s)

本地节点

10.1.120.34

60

1266

本地节点

10.1.120.34

100

1461

本地节点

10.1.120.34

600

879

小结

从表1-3可知：1)随着线程数目增加，线程平均写入速率会减小，而且还很明显；2)随着访问的数据量的增加，以10万条至60万条为例，每个线程平均访问其速率下降也很明显。

本文测试结果对高频中心库后续架构调整提供有一些实践参考，若以平均速率乘以线程个数来衡量，则该高频生产情形是满足需求的，但是若出现不平衡状况，则为节省成本采用将数据在固态硬盘本地入库落地来生产，然后辅以redis作为缓存来缓解访问系统访问压力的解决方案，本文作者是不赞成这种该方案的，希望对有类似业务需求的朋友有所帮助。

附录：

测试部分程序源代码：

1 importjava.sql.Date;2 importjava.math.BigDecimal;3

4 public classTransaction {5 privateDate tradedate;6 privateString symbol;7 privateString symbolName;8 privateString trdmintime;9 privateBigDecimal startprice;10 privateBigDecimal highprice;11 privateBigDecimal lowprice;12 privateBigDecimal endprice;13 privateBigDecimal change;14 privateBigDecimal changeratio;15 privateBigDecimal minvolume;16 privateBigDecimal minamout;17 private longunix;18 privateString market;19

20 publicTransaction(Date tradedate,21 String symbol,22 String symbolName,23 String trdmintime,24 BigDecimal startprice,25 BigDecimal highprice,26 BigDecimal lowprice,27 BigDecimal endprice,28 BigDecimal change,29 BigDecimal changeratio,30 BigDecimal minvolume,31 BigDecimal minamout,32 longunix,33 String market)34 {35 this.symbol =symbol;36 this.symbolName =symbolName;37 this.trdmintime =trdmintime;38 this.startprice =startprice;39 this.highprice =highprice;40 this.lowprice =lowprice;41 this.endprice =endprice;42 this.change =change;43 this.changeratio =changeratio;44 this.minvolume =minvolume;45 this.minamout =minamout;46 this.unix =unix;47 this.market =market;48 }49

50 public voidsetTradedate(Date tradedate) {51 this.tradedate =tradedate;52 }53

54 public voidsetSymbol(String symbol) {55 this.symbol =symbol;56 }57

58 public voidsetSymbolName(String symbolName) {59 this.symbolName =symbolName;60 }61

62 public voidsetTrdmintime(String trdmintime) {63 this.trdmintime =trdmintime;64 }65

66 public voidsetStartprice(BigDecimal startprice) {67 this.startprice =startprice;68 }69

70 public voidsetHighprice(BigDecimal highprice) {71 this.highprice =highprice;72 }73

74 public voidsetLowprice(BigDecimal lowprice) {75 this.lowprice =lowprice;76 }77

78 public voidsetEndprice(BigDecimal endprice) {79 this.endprice =endprice;80 }81

82 public voidsetChange(BigDecimal change) {83 this.change =change;84 }85

86 public voidsetChangeratio(BigDecimal changeratio) {87 this.changeratio =changeratio;88 }89

90 public voidsetMinvolume(BigDecimal minvolume) {91 this.minvolume =minvolume;92 }93

94 public voidsetMinamout(BigDecimal minamout) {95 this.minamout =minamout;96 }97

98 public void setUnix(longunix) {99 this.unix =unix;100 }101

102 public voidsetMarket(String market) {103 this.market =market;104 }105

106 publicDate getTradedate() {107 returntradedate;108 }109

110 publicString getSymbol() {111 returnsymbol;112 }113

114 publicString getSymbolName() {115 returnsymbolName;116 }117

118 publicString getTrdmintime() {119 returntrdmintime;120 }121

122 publicBigDecimal getStartprice() {123 returnstartprice;124 }125

126 publicBigDecimal getHighprice() {127 returnhighprice;128 }129

130 publicBigDecimal getLowprice() {131 returnlowprice;132 }133

134 publicBigDecimal getEndprice() {135 returnendprice;136 }137

138 publicBigDecimal getChange() {139 returnchange;140 }141

142 publicBigDecimal getChangeratio() {143 returnchangeratio;144 }145

146 publicBigDecimal getMinvolume() {147 returnminvolume;148 }149

150 publicBigDecimal getMinamout() {151 returnminamout;152 }153

154 public longgetUnix() {155 returnunix;156 }157

158 publicString getMarket() {159 returnmarket;160 }161

162 }

Class Transaction

1 importjava.sql.Date;2 importcom.gta.mysql.Transaction;3 importcom.gta.mysql.Test;4

5 public class RunThread extendsThread {6 privateTransaction ts;7 private intsymbolData;8 privateTest test;9

10 public RunThread(Transaction ts, intsymbolData, Test test) {11 this.ts =ts;12 this.symbolData =symbolData;13 this.test =test;14 }15

16

17 public voidrun()18 {19 long start =getRunTime();20 for(int i = 0; i < ThreadTest.NUM*1000; i++) {21 ts.setTradedate(newDate(System.currentTimeMillis()));22 ts.setSymbol(Integer.toString(symbolData));23 symbolData++;24 ts.setSymbolName("中国银行");25 ts.setUnix(ts.getUnix()+1);26 test.insertData(ts);27 }28 long end =getRunTime();29

30 System.out.println(ThreadTest.NUM*1000*1000/(end-start));31 }32

33

34 public longgetRunTime()35 {36 returnSystem.currentTimeMillis();37 }38

39 }

Class RunThread

1 importjava.math.BigDecimal;2 importjava.math.RoundingMode;3 importcom.gta.mysql.Test;4 importcom.gta.mysql.Transaction;5

6 public classThreadTest {7 public static int MAX = 10;8 public static int NUM = Test.FIX/MAX;9

10

11 public static voidmain(String[] args) {12

13 Transaction [] ts = newTransaction[ThreadTest.MAX];14 Test []test = newTest[ThreadTest.MAX];15 int symbol = 100000;16 for (int i = 0; i < ts.length; i++) {17 ts[i] = new Transaction(null,18 "",19 "",20 "010000",21 new BigDecimal(15.857).setScale(3, RoundingMode.HALF_UP),22 new BigDecimal(18.550).setScale(3, RoundingMode.HALF_UP),23 new BigDecimal(13.147).setScale(3, RoundingMode.HALF_UP),24 new BigDecimal(16.383).setScale(3, RoundingMode.HALF_UP),25 new BigDecimal(0.151).setScale(3, RoundingMode.HALF_UP),26 new BigDecimal(1.550).setScale(3, RoundingMode.HALF_UP),27 new BigDecimal(5000000).setScale(3, RoundingMode.HALF_UP),28 new BigDecimal(500000000).setScale(3, RoundingMode.HALF_UP),29 System.currentTimeMillis(),30 "SSE");31 test[i] = newTest();32

33 }34

35

36 RunThread[] thread = newRunThread[ThreadTest.MAX];37 for (int i = 0; i < thread.length; i++) {38 test[i].initMySQL();39 thread[i] = newRunThread(ts[i], symbol, test[i]);40 symbol += ThreadTest.NUM*1000;41 }42

43 for (int i = 0; i < thread.length; i++)44 thread[i].start();45

46 while (true) {47 try{48 Thread.sleep(1000);49 } catch(InterruptedException e) {50 e.printStackTrace();51 test[0].down();52 }53 }54

55 }56

57 }

ThreadTest

作者：志青云集

出处：http://www.cnblogs.com/lyssym

如果，您认为阅读这篇博客让您有些收获，不妨点击一下右下角的【推荐】。

如果，您希望更容易地发现我的新博客，不妨点击一下左下角的【关注我】。

如果，您对我的博客所讲述的内容有兴趣，请继续关注我的后续博客，我是【志青云集】。

本文版权归作者和博客园共有，欢迎转载，但未经作者同意必须保留此段声明，且在文章页面明显位置给出原文连接。