【mysql】Infobright和mysql数据入库性能测试

---

产生测试文件

测试文件部分内容如下：

产生测试文件代码：

1. package foo;
3. import java.io.File;
4. import java.io.FileWriter;
5. import java.io.IOException;
6. import java.text.SimpleDateFormat;
7. import java.util.Date;
9. public class WriteIBdata {
10. public static void main(String[] args) {
11. String file = "C:\\linliu\\ib666";
12. writeFile(file);
13. }
15. public static void writeFile(String fileName) {
16. try {
17. FileWriter fw = new FileWriter(new File(fileName));
18. for (int i = 0; i < 10000 * 1500; i++) {
19. SimpleDateFormat sdf = new SimpleDateFormat("yyyy-MM-dd HH:mm:ss");
21. fw.write("'");
22. fw.write(sdf.format(new Date()));
23. fw.write("'");
24. fw.write(",");
26. fw.write("'");
27. fw.write(String.valueOf(System.nanoTime()));
28. fw.write("'");
29. fw.write(",");
31. fw.write("'");
32. fw.write("aaaaaaaaaaaaaaaaaaaa");
33. fw.write("'");
35. fw.write("\n");
37. if (i % 50000 == 0) {
38. System.out.println("Finish:" + i/50000);
39. }
40. }
41. fw.close();
42. } catch (IOException e1) {
43. }
44. }
45. }

---

测试Mysql数据库

创建数据表

1. CREATE TABLE `loadtable` (
2. `insertTstamp` timestamp NOT NULL DEFAULT CURRENT_TIMESTAMP,
3. `logType` varchar(64) NOT NULL,
4. `content` varchar(64) NOT NULL,
5. PRIMARY KEY (`insertTstamp`,`logType`)
6. ) ENGINE=InnoDB DEFAULT CHARSET=utf8;

导入数据

1. load data infile '/home/testFile916M' into table loadtable fields terminated by ',' enclosed by '\'';

查看入库情况：

另外的入库数据：

---

测试Infobright数据库

创建数据表

1. CREATE TABLE `loadtable` (
2. `time` timestamp NOT NULL DEFAULT CURRENT_TIMESTAMP,
3. `type` varchar(64) NOT NULL,
4. `content` varchar(64) NOT NULL
5. ) ENGINE=BRIGHTHOUSE DEFAULT CHARSET=utf8;

导入数据

1. load data infile '/home/ib916M' into table loadtable fields terminated by ',' enclosed by '\'';

查看入库结果：

另外的入库数据：

---

总结

• mysql入库：1500万条数据，约900M，入库时间大约在5min左右；
  
• Infobright入库：1500万条数据，约900M，入库时间大约在2~3min左右；

---

来自为知笔记(Wiz)