Java面试题系列——JavaSE面试题（MySQL二）

小海海不怕困难

已于 2024-04-11 10:57:19 修改

阅读量1.6w

点赞数

分类专栏： MySQL 文章标签： vue.js java

于 2022-06-12 15:12:21 首次发布

本文链接：https://blog.csdn.net/weixin_55229531/article/details/125243890

版权

MySQL 专栏收录该内容

32 篇文章 2 订阅

订阅专栏

1、数据库中如何快速插入100W级数据？

整体策略：通过多线程分批次对大量数据进行插入操作实现高效插入。

1.比如数据量为10w，将10w条数据分为10个1w条，然后通过创建多（10）个线程，对这10个1w数据进行插入操作。

2.通过遍历数据去进行插入操作实际上就是一条一条的插入，每执行一次insert就要向数据库传一条sql，数据库编译sql，然后执行，这里用的是Statement。这样做插入效率明显很低，所以我们需要采用批量插入大方式去进行，这里需要用到PreparedStatement。两者的区别在文章末。

Connection conn = DriverManager.getConnection();
conn.setAutoCommit(false);
PreparedStatement ps = conn.prepareStatement(   
   "INSERT into employees values (?, ?, ?)");   
for (n = 0; n < 10000; n++) {   
  ps.setString(name[n]);   
  ps.setLong(id[n]);   
  ps.setInt(salary[n]);   
  ps.addBatch(); //添加批处理  
}   
ps.executeBatch(); //执行批处理

3.由上例可以看出每10000条数据进行一次事务的提交，也就是说事务的粗粒度太大，数据库每次面临一万条数据的插入，压力也会很大，所以我们可以再将上述案例进行优化，每一百条数据进行一次事务的提交。

4.最后如果想要查看数据库中已经插入的数据条数，通过执行sql语句效率也会比较低，可以通过在内存中设置一个n，来记录插入数据条数，当然，在多线程的情况下，需要对n进行加锁操作。
Statement和PreparedStatement的区别：

statement是每次执行都会向数据库发送sql，然后数据库进行预编译然后执行。

PreparedStatement是通过AddBatch()将多次执行操作都放在一起，然后再向数据库发送sql，然后数据库编译执行。

2、联合索引与普通索引的区别在哪里？

联合索引：就是创建一个索引，索引中包含多个列。

普通索引：即单个索引，一个索引包含一个列。

区别：

联合索引中列的顺序非常重要，从左原则。a,ab,ba,abc。一般来说，列表搜索需要多个列查询，此时就可以使用联合索引，都是and的关系。
单个索引：一个一个起作用，也就是说有三个单个索引，哪个条件查询在前哪个起作用，其他不起作用。

3、有张100W级的表中存在大量的重复数据，如何快速去重？

（1）数据下载

将远程数据库里面的数据导出为 sql 到本地，导入本地数据库后进行操作，但这一过程也很缓慢，一个百万级数据库在 navicat 里面可能要导个半个小时。

（2）MySQL中的去重

基本思路是复制原表 A 结构新建一个表 B，对表 B 添加 UNIQUE 约束，然后将表 A 中的数据逐条插入表 B，约束会自动实现去重。

1.复制表结构

CREATE TABLE newTable LIKE oldTable;

2.为表格添加约束条件

ALTER TABLE newTable ADD UNIQUE(IP,timeStart);

3.为新表中添加数据(约束条件自动去重)

INSERT IGNORE newTable
 
SELECT \* FROM newTable
 
ORDER BY IP,timeStart;

4、数据库中复合索引的字段中可以有null值吗？

索引不会包含有NULL值的列。只要列中包含有NULL值都将不会被包含在索引中，复合索引中只要有一列含有NULL值，那么这一列对于此复合索引就是无效的。所以我们在数据库设计时不要让字段的默认值为NULL。

5、数据库中两张表如何要联合查询，要如何实现？

（1）内连接查询

select sal from emp join dept
on(emp.DEPTNO=dept.DEPTNO);

（2）外连接查询

1.左外连接

select emp.sal,emp.DEPTNO from emp left join dept
on(emp.DEPTNO=dept.DEPTNO);

2.右外连接

select emp.sal,emp.DEPTNO from emp right join dept
on(emp.DEPTNO=dept.DEPTNO);

（3）自连接查询

select e1.EMPNO '员工工号',e1.ENAME '员工姓名',e2.EMPNO '领导工号',e2.ENAME '领导姓名' from emp e1 left join emp e2
on(e1.mgr=e2.EMPNO);

6、mysql数据库索引是用什么数据结构存储的？

1.数组/链表

其实这个就是二分查找的一种思想，也叫折半查找，每一次，我们都把候选数据缩小了一半。如果数据已经排过序的话，这种方式效率比较高。

所以第一个，我们可以考虑用有序数组作为索引的数据结构。有序数组的等值查询和比较查询效率非常高，但是更新数据的时候会出现一个问题，可能要挪动大量的数据（改变index），所以只适合存储静态的数据。

为了支持频繁的修改，比如插入数据，我们需要采用链表。链表的话，如果是单链表，它的查找效率还是不够高。所以，有没有可以使用二分查找的链表呢？为了解决这个问题，BST（Binary SearchTree）也就是我们所说的二叉查找树诞生了。

2.二叉查找树（BST Binary Search Tree）

二叉查找树的特点是什么？左子树所有的节点都小于父节点，右子树所有的节点都大于父节点。投影到平面以后，就是一个有序的线性表。

二叉查找树既能够实现快速查找，又能够实现快速插入。但是二叉查找树有一个问题：就是它的查找耗时是和这棵树的深度相关的，在最坏的情况下时间复杂度会退化成O(n)。比如，我们插入的数据刚好是有序的，比如 [2、6、11、13、17、22] 这个时候我们的二叉查找树变成了什么样了呢？

它会变成链表（我们把这种树叫做“斜树”），这种情况下不能达到加快检索速度的目的，和顺序查找效率是没有区别的。为了解决这一问题，人们发明了平衡二叉树，叫做Balanced binary search trees，或者AVL树（AVL 是发明这个数据结构的人的名字）。

3.平衡二叉树（AVL Tree）

人们在二叉搜索树的基础上增加了约束，具有以下性质:它是一棵空树或它的左右两个子树的高度差的绝对值不超过1，并且左右两个子树都是一棵平衡二叉树。

3.B-Tree

B树的英文是Balance Tree，也就是多路平衡查找树。简写为B-Tree。它的高度远小于平衡二叉树的高度。

B树作为多路平衡查找树，它的每一个节点最多可以包括M个子节点，M称为B树的阶。每个磁盘块中包括了关键字和子节点的指针。如果一个磁盘块中包括了x个关键字，那么指针数就是x+1。对于一个100阶的B树来说，如果有3层的话最多可以存储约100万的索引数据。对于大量的索引数据来说，采用B树的结构是非常适合的，因为树的高度要远小于二叉树的高度。

你能看出来在B树的搜索过程中，我们比较的次数并不少，但如果把数据读取出来然后在内存中进行比较，这个时间就是可以忽略不计的。而读取磁盘块本身需要进行I/o操作，消耗的时间比在内存中进行比较所需要的时间要多，是数据查找用时的重要因素。B树相比于平衡二叉树来说磁盘Ⅰ/0О操作要少，在数据查询中比平衡二叉树效率要高。所以只要树的高度足够低，IO次数足够少，就可以提高查询性能。