有一个表数据量每天存入数据3百万左右，现在千万级，要筛选表里一些数据，怎么查才能速度快一点

最新推荐文章于 2022-07-31 16:37:00 发布
最新推荐文章于 2022-07-31 16:37:00 发布
阅读量3k 收藏
点赞数 1
分类专栏： 数据库
原文链接：https://ask.csdn.net/questions/681166?sort=votes_count
版权

这个问题够写一篇分析报告了。

  1. 首先每天三百万数据，这张表再大，最后都会撑不住，横向分表是自然的事。估计最先想到的是按时间来分吧。
  2. 查询速度的问题可使用的技术方案有很多，但先要做的是对业务查询的分析。找出瓶颈，才能有的放矢。试列举几种：
    i 缓存，已查过的放内存，没查过的才查
    ii 索引，合理利用索引，甚至构造自己的索引表
    ii 并行，可以多线程/多进程甚至分布式
    iV 分离读写，使用数据仓库，专门面对查询
    V 预处理，我先查，等你来问的时候，我只是把结果告诉你，能不快么？
代码学习
关注
专栏目录
【图文详解】HBase 的数据模型与架构原理详解
程序员光剑
12-11 1万+
HBase 简介 https://hbase.apache.org/HBase， Hadoop Database，是一个高可靠性、高性能、面向列、可伸缩、 实时读写的分布式开源 NoSQL 数据库，面向列存储。主要用来存储非结构化和半结构化的松散数据。HBase 的设计思想，来源于 Fay Chang所撰写的Google论文 “Bigtable：一个结构化数据的分布式存储系统”。HBase ...
SQL性能优化技巧，常见优化10经验，数据库查询好慢，还能怎么办
m0_67322837的博客
04-11 4622
我熟练应用ctrl c和ctrl v 开发curd代码好多年了。 mysql查询为什么会慢，关于这个问题，在实际开发经常会遇到，而面试中，也是个高频题。 遇到这种问题，我们一般也会想到是因为索引。 那除开索引之外，还有哪些因素会导致数据库查询变慢呢？ 有哪些操作，可以提升mysql的查询能力呢？ 今天这篇文章，我们就来聊聊会导致数据库查询变慢的场景有哪些，并给出原因和解决方案。 数据库查询流程 我们先来看下，一条查询语句下来，会经历哪些流程。 比如我们有一张数据库表 CREATE TAB
如何从Hive数仓3万张表中快速查询特定的几条数据在哪些表里有存储
weixin_43230682的博客
06-16 1178
这是最近项目中所遇到的一个比较奇葩的需求，重点是如何快速地实现这个需求。 思路一：先考虑实现需求，后面再进行速度和性能上的进一步优化。 先是考虑从hive的元数据库中把具有该字段的表信息都找出来，然后扫描这些表的时候只针对目标字段进行过滤和判断，避免直接 针对3万张表进行全表扫描。 为了方便演示，简化需求为从hive数据仓库中的ods库的几十张表里找出字段sex=“UnKnown”的数据在哪些表中有存储。 采用Shell脚本来实现，代码如下： #!/bin/bash dName="ods" resultT
几百万的数据，mysql快速高效创建索引
weixin_30540691的博客
07-01 795
有一个问题，一张表有3百万条记录，随着时间的增加，记录量会更多，此时查询速度很慢。在创建此表前没有未相应字段添加索引，所以此时需要为表添加索引。但是因为数据量大的原因，索引添加不成功，想了很多办法，终于在短时间内解决了。 　　办法如下： 　　1、进入mysql界面。mysql -uroot -hlocalhost -plovelive gm; 　　2、导出相应表的数据。select * fr...
每天1千万数据mysql怎么存_[记录]千万数据存入mysql_MySQL
weixin_29304985的博客
01-27 985
bitsCN.com[记录]千万数据存入mysql存入1千万条数据，用hibernate存数据的定义都很简单:Sql代码 create table testEntity2 ( id varchar(255) not null, description varchar(255), name varchar(255), primary key (id) )主...
处理百万级以上的数据提高查询速度的方法
heartbeaty的专栏
04-14 1170
处理百万级以上的数据提高查询速度的方法：  1.应尽量避免在 where 子句中使用!=或  2.对查询进行优化，应尽量避免全表扫描，首先应考虑在 where 及 order by 涉及的列上建立索引。  3.应尽量避免在 where 子句中对字段进行 null 值判断，否则将导致引擎放弃使用索引而进行全表扫描，如：      select id from t where nu
MySQL数据库作为系统的存储，一天五万条以上的增量， 预计运维三年,怎么优化？
绅士jiejie的博客
04-03 1012
设计良好的数据库结构，允许部分数据冗余，尽量避免 join 查询，提高效率。 选择合适的表字段数据类型和存储引擎，适当的添加索引。 MySQL分出主从库，做读写分离。 通过一定得规律做分表，以此来减少单表中的数据量，提高查询速度。 添加缓存中间件，减轻数据库访问压力。 对那些不经常改动的页面，可以生成静态页面。 尽量写出好的和高效的SQL。 ...
读书笔记丨《数据产品经理修炼手册:从零基础到大数据产品实践》丨DAY4
Ray_Shawn的博客
07-31 813
1）Spark。Spark是一个开源的集群计算环境，上文也讲了，Spark与Hadoop之间既相互补充，又相互竞争。Spark启用了内存分布数据集，在处理某些工作负载方面表现得更加优越，交互也会更加友好。（2）Kafka。Kafka是一种高吞吐量的分布式发布订阅消息系统，它可以处理各大网站或者App中用户的动作流数据。用户行为数据是后续进行业务分析和优化的重要数据资产，这些数据通常以处理日志和日志聚合的方式解决。是基于Lucene4.2大数据平台层级结构。......
【数据结构】树与树的表示、二叉树存储结构及其遍历、二叉搜索树、平衡二叉树、堆、哈夫曼树与哈夫曼编码、集合及其运算
天生爱赞美的博客
10-31 3905
1、树与树的表示 什么是树？ 客观世界中许多事物存在层次关系 人类社会家谱 社会组织结构 图书信息管理 分层次组织在管理上具有更高的效率！ 数据管理的基本操作之一：查找（根据某个给定关键字K，从集合R 中找出关键字与K 相同的记录）。一个自然的问题就是，如何实现有效率的查找？
接上一章winhex数据恢复新手入门教程
weixin_43724254的博客
04-01 4171
对于才开始学习数据恢复的小白可以看看，都是数据恢复入门知识。这几章讲解了FAT32的文件系统结构。博主个人整理记录，如需转载请发布原文链接。
当数据库一张表中有百万条数据怎么办
HappyCode
09-16 1158
问题： 后台有个定时任务，每5秒钟生成6条数据存储到数据库中，那么一个月就会有 3110400 条数据存储到数据库中。显然数据量达到了百万级，数据量越大后期的性能就开始下降。 解决： 手动为以后创建多张表，表名后面加上年月 yyyy_MM 为后缀。一个月用一张表。 在mybatis中使用sql语句对数据库操作的时候，使用 ${} 拼接，而不是用 #{} 占位。 遗留问题： 目前不会用定时任务+存储过程去创建表 是否有更高效优秀的办法解决数据量大的问题 ...
Java岗大厂面试百日冲刺【Day52】— 数据库8 （日积月累，每日三题）
热门推荐
陈哈哈的菜园子
12-21 1万+
百日闭关修炼，今天是MySQL三道高频面题，看你都知道不？
每天千万级订单的生成，数据库系统如何设计？订单系统架构如何设计？
博学谷狂野架构师的博客
06-14 2001
随着数据量的增长，一般db的架构，经历如下演进：1）单库主从2）单库双主多从架构3）分区表数据库层面做数据分区策略，对开发层透明。适用场景：适合订单场景，最后部分有热点数据，其他都是历史订单（不活跃）分区表的数据更容易维护，可以直接针对分区做删除、优化、检查、修复、备份等操作支持多硬件设备，不同分区分散到不同设备，如硬盘优化查询，只使用必要的分区来提高查询效率，涉及sum()和count()聚合查询时，也可以实现分区并发再汇总。局限性：数量上限，一个表最多只能有1024个分区...
面对海量数据，如何才能查得更快?
Java____superman的博客
08-29 780
本文已收录GitHub，更有互联网大厂面试真题，面试攻略，高效学习资料等 本文和大家分享一下如何来保存原始数据，我们知道，原始数据的数据量太大，能存下来就很不容易了，这个数据是没法直接来给业务系统查询和分析的。有两个原因，一是数据量太大了，二是也没有很好的数据结构和查询能力，来支持业务系统查询。 所以一般的做法是，用流计算或者是批计算，把原始数据再进行一次或者多次的过滤、汇聚和计算，把计算结果落到另外一个存储系统中去，由这个存储再给业务系统提供查询支持。这里的“流计算”，指的是 Flink、Storm..
千万级数据处理
思念十年后
11-12 3272
千万级数据处理 前言     近日一次版本上线时，涉及到千万级数据处理，因一时疏漏造成Oracle数据库回滚段爆掉，造成版本重复发布。     系统日常运行中，产生部分历史数据，这些数据不能删除。日积月累情况下，出现超级大的数据量。 需要将客户信息历史表中客户性别为女性，出生日期在90年以前的客户存放
千万级数据查询处理方案
linjy520的博客
01-31 5422
前段时间有一个项目涉及到了很多的查询与报表生成。因为单表数据量已经达到了千万级，再多表关联已经达到亿级数据了。之前没有接触过这么大数据量的处理，所以刚接到这个项目时有点脑瓜子疼。 最开始我还是想通过优化sql与索引方式来提高查询的性能，但是效果并不明显。（由于业务的需求，sql关联了很多表，其真实的执行时间已经超过一分钟了【不能忍了】） 然后找了公司的dba讨论如何解决，我提出的第一个方案是采...
idea将数据存入到一个表里
最新发布
06-09
可以按照以下步骤将数据存入表中： 1. 创建一个数据库和表，可以使用MySQL Workbench或者命令行来创建。 2. 在Java代码中，使用JDBC连接到数据库。 3. 使用SQL语句向表中插入数据，可以使用PreparedStatement预编译的方式来执行SQL语句。 4. 关闭数据库连接。 以下是一个简单的示例代码，假设数据库名为myDatabase，表名为myTable，表中有id和name两列： ``` import java.sql.*; public class InsertData { public static void main(String[] args) { Connection conn = null; PreparedStatement pstmt = null; try { // 1. 连接到数据库 conn = DriverManager.getConnection("jdbc:mysql://localhost:3306/myDatabase", "username", "password"); // 2. 准备SQL语句 String sql = "INSERT INTO myTable (id, name) VALUES (?, ?)"; pstmt = conn.prepareStatement(sql); // 3. 设置参数并执行SQL语句 pstmt.setInt(1, 1); pstmt.setString(2, "Alice"); pstmt.executeUpdate(); // 4. 关闭连接 pstmt.close(); conn.close(); } catch (SQLException e) { e.printStackTrace(); } } } ``` 这段代码会将id为1，name为"Alice"的数据插入到myTable表中。你可以根据自己的需求修改表名、列名和数据。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值