Mysql数据库中存大量数据--------索引和缓存

最新推荐文章于 2024-03-15 18:18:36 发布
最新推荐文章于 2024-03-15 18:18:36 发布
阅读量515 收藏 1
点赞数
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/w_x_l11/article/details/108804433
版权

一、mysql数据库中存储大量数据的问题

	1.创建一个连接数据库的工具类
package com.shujia.util;

import java.sql.Connection;
import java.sql.DriverManager;

/**
 * 这是连接数据库的工具类
 */
public class JDBCUtil {
    private static Connection conn;
    static {
        try {
            Class.forName("com.mysql.jdbc.Driver");
            conn = DriverManager.getConnection("jdbc:mysql://master:3306/user?useUnicode=true&characterEncoding=utf-8", "root", "123456");
        } catch (Exception e) {
            e.printStackTrace();
        }
    }
    /**
     * 获取jdbc
     */
    public static Connection getConnection(){
        return conn;
    }
}

注意：这个写一个工具类，是为了可以重复使用。将连接数据库的操作放在静态代码块里，是使连接只是用一次，不用每次访问时都连接数据库，使服务器访问更加的快速。

	2.造大量数据

package com.shujia;

import com.shujia.util.JDBCUtil;

import java.io.BufferedReader;
import java.io.FileReader;
import java.sql.Connection;
import java.sql.PreparedStatement;

public class MakeStudentData {
    public static void main(String[] args) throws Exception {
        /**
         * 生产大量的数据
         */
        //获取连接
        Connection con = JDBCUtil.getConnection();
        BufferedReader br = new BufferedReader(new FileReader("spring/data/students.txt"));

        String line;
        while ((line=br.readLine())!=null){
            String[] split = line.split(",");
            String id = split[0];
            String name = split[1];
            Integer age = Integer.parseInt(split[2]);
            String gender = split[3];
            String clazz = split[4];

            String sql="insert into student (id,name,age,gender,clazz) values(?,?,?,?,?)";
            //将数据保存到mysql
            PreparedStatement stat = con.prepareStatement(sql);

            for (int i = 0; i < 1000; i++) {
                String newid = id+i;
                stat.setString(1,newid);
                stat.setString(2,name);
                stat.setInt(3,age);
                stat.setString(4,gender);
                stat.setString(5,clazz);

                //一次处理一个批次
                stat.addBatch();
            }
            stat.executeBatch();
            System.out.println("插入1000条成功");
        }
    }
}


	3.查询数据
	
package com.shujia.controller;

import com.shujia.bean.Student;
import com.shujia.util.JDBCUtil;
import org.springframework.web.bind.annotation.GetMapping;
import org.springframework.web.bind.annotation.RestController;

import java.sql.Connection;
import java.sql.PreparedStatement;
import java.sql.ResultSet;
import java.sql.SQLException;
import java.util.HashMap;

@RestController
public class StudentController {
    /**
     * 通过HashMap来模拟一个数据缓存量越来（使用内存来缓存）
     *
     * 将已经查询的过的数据保存到cache中
     *
     * 使用HashMap做缓存存在的问题
     * 1、当数据量越来越多时，HashMap效率会降低
     * 2、没办法清除没有用的缓存
     */
   HashMap<String,Student> cache = new HashMap<String,Student>();


    /**
     * 通过学号查询学生信息的接口
     * http://192.168.0.197:8080/queryStudentBuId?id=1500100127&key=123456(key是为了使数据接口更加的安全)
     */
    @GetMapping("/queryStudentById")
    public Student queryStudentById(String id,String key){
        //这里是访问该数据接口提供了一个钥匙，使数据更加的安全
      if(!"123456".equals(key)){
          return null;
      }

        /**
         * 1、先查询缓存
         *
         * 如果缓存中有数据，直接返回，如果没有在查询数据库
         *
         */

        Student student1 = cache.get(id);
        if(student1!=null){
            System.out.println("缓存中有数据，直接返回");
            return student1;
        }
        System.out.println("缓存中没有数据查询数据库");

        /**
         * 连接数据库查询学生的信息
         */
        Connection conn = JDBCUtil.getConnection();//创建了一个工具类，来连接数据库
        try {
            PreparedStatement stat = conn.prepareStatement("select * from student where id=?");
            stat.setString(1,id);
            ResultSet resultSet = stat.executeQuery();

            if(resultSet.next()){
                String id1 = resultSet.getString("id");
                String name = resultSet.getString("name");
                Integer age = resultSet.getInt("age");
                String gender = resultSet.getString("gender");
                String clazz = resultSet.getString("clazz");


                Student student = new Student(id1, name, age, gender, clazz);
                /**
                 * 2.将查询回来的结果保存到缓存中
                 */
                cache.put(id1,student);

                //Spring boot会自动将自定义类的对象转换成json格式的字符串返回
                return student;
            }
        } catch (SQLException e) {
            e.printStackTrace();
        }
        return null;
    }
}

二、数据库中已经存储了大量数据，但是查询起来特别慢，可以添加主键和索引

例如

select  clazz,count(*) from student  group by clazz

没有使用主键之前---->需要两秒---->100万条数据

DROP TABLE IF EXISTS `student`;
CREATE TABLE `student` (
  `id` varchar(255) NOT NULL,
  `name` varchar(255) DEFAULT NULL,
  `age` int(11) NOT NULL,
  `gender` varchar(255) DEFAULT NULL,
  `clazz` varchar(255) DEFAULT NULL,
  PRIMARY KEY (`id`),
  KEY `clazz_num` (`clazz`) USING HASH
) ENGINE=MyISAM DEFAULT CHARSET=utf8;

KEY clazz_num (clazz) USING HASH
增加索引之后查询时间变成200毫秒
主键默认有索引：PRIMARY KEY (id),
单例索引： KEY clazz_num (clazz) USING HASH

多个字段分组时候可以加多列索引

 select clazz,gender, count(*) from student  group by clazz ,gender

DROP TABLE IF EXISTS `student`;
CREATE TABLE `student` (
  `id` varchar(255) NOT NULL,
  `name` varchar(255) DEFAULT NULL,
  `age` int(11) NOT NULL,
  `gender` varchar(10) DEFAULT NULL,
  `clazz` varchar(10) DEFAULT NULL,
  PRIMARY KEY (`id`),
  KEY `clazz_gender` (`clazz`,`gender`) USING HASH
) ENGINE=MyISAM DEFAULT CHARSET=utf8;

多列索引： KEY clazz_gender (clazz,gender) USING HASH

三、Mysql数据库中有大量数据，但是服务器访问特别慢，我们可以通过缓存数据来查询

package com.shujia.controller;

import com.shujia.bean.Student;
import com.shujia.util.JDBCUtil;
import org.springframework.web.bind.annotation.GetMapping;
import org.springframework.web.bind.annotation.RestController;

import java.sql.Connection;
import java.sql.PreparedStatement;
import java.sql.ResultSet;
import java.sql.SQLException;
import java.util.HashMap;

@RestController
public class StudentController {
    /**
     * 通过HashMap来模拟一个数据缓存量越来（使用内存来缓存）
     *
     * 将已经查询的过的数据保存到cache中
     *
     * 使用HashMap做缓存存在的问题
     * 1、当数据量越来越多时，HashMap效率会降低
     * 2、没办法清除没有用的缓存
     */
   HashMap<String,Student> cache = new HashMap<String,Student>();


    /**
     * 通过学号查询学生信息的接口
     * http://192.168.0.197:8080/queryStudentBuId?id=1500100127&key=123456(key是为了使数据接口更加的安全)
     */
    @GetMapping("/queryStudentById")
    public Student queryStudentById(String id,String key){
        //这里是访问该数据接口提供了一个钥匙，使数据更加的安全
      if(!"123456".equals(key)){
          return null;
      }

        /**
         * 1、先查询缓存
         *
         * 如果缓存中有数据，直接返回，如果没有在查询数据库
         *
         */

        Student student1 = cache.get(id);
        if(student1!=null){
            System.out.println("缓存中有数据，直接返回");
            return student1;
        }
        System.out.println("缓存中没有数据查询数据库");

        /**
         * 连接数据库查询学生的信息
         */
        Connection conn = JDBCUtil.getConnection();//创建了一个工具类，来连接数据库
        try {
            PreparedStatement stat = conn.prepareStatement("select * from student where id=?");
            stat.setString(1,id);
            ResultSet resultSet = stat.executeQuery();

            if(resultSet.next()){
                String id1 = resultSet.getString("id");
                String name = resultSet.getString("name");
                Integer age = resultSet.getInt("age");
                String gender = resultSet.getString("gender");
                String clazz = resultSet.getString("clazz");


                Student student = new Student(id1, name, age, gender, clazz);
                /**
                 * 2.将查询回来的结果保存到缓存中
                 */
                cache.put(id1,student);

                //Spring boot会自动将自定义类的对象转换成json格式的字符串返回
                return student;
            }
        } catch (SQLException e) {
            e.printStackTrace();
        }
        return null;
    }
}

这个部分使用了HashMap来模拟缓存数据，访问的过程是先访问缓存数据，如果没有，就去连接数据库去查询。可以把查询到的数据存到HashMap中，下次在来查询时，访问缓存数据时，这里面有了数据，就不用去访问数据库了，大大节省的访问时间。

解释图：
在这里插入图片描述

逗比发光请闭眼
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
面试官：mysql索引会缓存内存吗？
悟已往之不谏，知来者之可追
03-31 887
InnoDB缓冲池 如何设置 方法一：使用 `innodb_buffer_pool_size` 变量 方法二：修改my.ini配置文件
mokuyu-mokuyu：数据库类
03-03
本数据库类的开发吸取medoo（符号查询）和thinkphp（连贯操作）的特点，集各家之所长，感谢以上两个开源库[toc]使用规则说明数据库表/索引表和段落名字全部小写，为方便阅读，尽量使用全名不要使用字母简写（名字长...
MySQL java缓存_java怎么使用redis进行mysql数据的缓存
weixin_36488250的博客
01-18 588
哈士奇WWW应用Redis实现数据的读写，同时利用队列处理器定时将数据写入MySQL。同时要注意避免冲突，在redis启动时去mysql读取所有表键值存入redis中，往redis写数据时，对redis主键自增并进行读取，若mysql更新失败，则需要及时清除缓存及同步redis主键。这样处理，主要是实时读写redis，而mysql数据则通过队列异步处理，缓解mysql压力，不过这种方法应用场景主要...
数据库大量数据存储优化处理
最新发布
weixin_46266464的博客
03-15 392
为确保数据查询的流畅性与系统的高效运行，我们需要采取一系列有针对性的性能优化措施。综上所述，优化长期使用的、积累了大量数据的数据库性能是一个综合性的过程，涵盖了数据管理、架构设计、查询优化、硬件配置等多个方面。将过期或不再需要的数据转移到成本更低廉的存储介质（如冷存储）或单独的归档数据库中，这样既释放了主数据库的空间资源，也减轻了查询时的负担。对于复杂的大数据分析任务，可以在数据库之外构建数据仓库或使用大数据处理框架（例如Hadoop、Spark），将部分计算任务放到离线环境中进行，缓解在线数据库的压力。
mysql 索引缓存,查询缓存及索引：MySQL系列之九
weixin_33514221的博客
03-23 467
一、MySQL的架构连接器连接池，安全认证、线程池、连接限制、检查内存、缓存SQL接口 DML、DDLSQL解析器，对SQL语句的权限检查、解析为二进制程序优化器，优化访问路径缓存cache,buffer存储引擎 innodb文件系统日志二、查询缓存(Query Cache)SQL语句查询缓存解析器解析树预处理查找最好的查询路径查询优化SQL语句执行计划API调用存储引擎调用数据，返回结果缓存SE...
MySQL架构、存储索引、缓存、索引优化
hu_nil的博客
03-26 390
文章目录MySQL的架构详解存储引擎MyISAMInnoDB其他存储引擎管理存储引擎MySQL中的系统数据库mysql 数据库performance_schema 数据库information_schema 数据库sys 数据库MySQL服务器配置及状态命令行选项及服务器选项服务器系统变量服务器状态变量服务器变量SQL_MODE查询缓存 Query Cache查询缓存的原理查询缓存相关的服务器变量SELECT语句的缓存控制查询缓存相关的状态变量查询的优化命中率和内存使用率估算参考文献： MySQL的架构详解
MySQL学习笔记3-数据库设计与优化.md
08-22
然后重点概述了数据库性能优化的常见方法,如索引优化、查询优化、分区表、缓存等,并给出了示例代码。最后通过一个图书管理系统的数据库设计案例,讲解了具体的数据库表设计和查询方法。内容全面,条理清晰。 适合人群...
pawn-redis:Redis典当语言客户端
05-28
它是开源的，可以什么是Redis Redis是一种开放源代码（BSD许可）的内存中数据结构存储，用作数据库，缓存和消息代理。 它支持数据结构，例如字符串，哈希，列表，集合，带范围查询的排序集，位图，超级日志和带有...
MySQL学习笔记5-数据库性能优化与扩展.md
08-23
本课件先从性能优化的角度,详细解释了索引优化、查询优化、缓存利用等技术手段,给出了示例代码。然后介绍了数据库扩展的垂直和水平两种方式。课件还以高可用性和负载均衡作为案例,讲解了主从复制、读写分离等数据库...
content-dynamodb-deepdive:Amazon DynamoDB深潜课程
05-04
MySQL中的关系模型 有限的优化 有限缓存 没有索引 低效的查询 存储在本地文件系统上的图像 数据库中的帐户 v1-基本DynamoDB 从CSV到DynamoDB的简单迁移 3个模拟关系结构的DDB表 图像通过DDB属性中的URI移到S3 ...
mysql索引缓存的内容_mysql 性能优化索引、缓存、分表、分布式实现方式。
weixin_30979383的博客
02-02 127
本篇文章主要介绍了" mysql 性能优化索引、缓存、分表、分布式实现方式。"，主要涉及到方面的内容，对于MySql感兴趣的同学可以参考一下： 系统针对5000台终端测试结果索引目标：优化查询速度3秒以内 需要优化。尽量避免使用select * 来查询对象。使用到哪些属性就查询出哪些使用即可首页页面：设...系统针对5000台终端测试结果索引目标：优化查询速度...
MySQL存储引擎以及索引
长期更新Java自学笔记
03-10 3513
一、数据库引擎 1. 查看数据库引擎 2. 查看表结构 3. 查看表相关文件 4. 各存储引擎的区别 二、MySQL索引 1. 索引分类 2. 索引的创建和删除 3. 关于缓存问题 4. 过滤条件字段涉及类型转换则无法使用索引 5. 删除索引 6. explain字段含义 7. 加索引优化原则
MySQL优化二（索引、缓存、分区分表、慢查询日志）
Srodong的博客
03-11 1040
索引 1.什么是索引？ 正常查询数据表操作，需要遍历扫描整个表数据。 索引是一种结构，里面有相对应的算法。可以保证速度更快的查询出来。就是把建立索引的字段，单独存储起来，对应存储字段和对应的真实数据文件存储的物理地址。 比如： 公交站牌的上的站点数据，就是一个索引，可以帮助找到对应的站点信息 办公大楼的门牌索引，可以更快找到对应的公司办公地点 书的目录所记录的页数，也是一个索引，可以...
mysql索引缓存的内容_mysql服务器变量、缓存及索引
weixin_42110038的博客
01-28 430
服务器变量注意：其中有些参数支持运行时修改，会立即生效；有些参数不支持，且只能通过修改配置文件，并重启服务器程序生效；有些参数作用域是全局的，且不可改变；有些可以为每个用户提供单独(会话)的设置。show variables;查看所有变量# mysqld_safe –-skip-name-resolve=1：在启动服务时加选项参数，禁止反解析IP，提高登录效率；同时也可以将skip_name_re...
MySQL之变量、查询缓存和索引
weixin_33937778的博客
06-30 244
MySQL中的系统数据库mysql数据库：是mysql的核心数据库，类似于sql server中的master库，主要负责存储数据库的用户、权限设置、关键字等mysql自己需要使用的控制和管理信息PERFORMANCE_SCHEMA:MySQL 5.5开始新增的数据库，主要用于收集数据库服务器性能参数,库里表的存储引擎均为PERFORMANCE_SCHEMA，用户不能创建存储...
Mysql 数据库优化--查询缓存及sql语句优化-索引优化，史上最全最全
zhuxineli的专栏
09-07 2442
查询执行基础知识 show processlist来查看当前有何进程 查询缓存 Mysql的cache功能的原理是，如果开启mysql的缓存功能，mysql自动将select语句按一定的规则生成二进制的结果集并对一个key缓存到内存中，如果下次用户的请求跟这条select语句一样的话就会直接调用内存中的数据，而不用再去重新执行sql语句了，所以只有select语句跟缓存中的select完
--在mysql中的作用
07-14
1. 数据存储：MySQL是一个关系型数据库管理系统（RDBMS），它可以用于存储和管理大量结构化数据。 2. 数据检索：MySQL提供了强大的查询语言（SQL），可以使用各种条件和操作符来检索数据库中的数据。 3. 数据修改...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值