历史数据处理

最新推荐文章于 2024-05-26 19:23:37 发布
最新推荐文章于 2024-05-26 19:23:37 发布
阅读量1.8k 收藏 1
点赞数 1
分类专栏： 数据库
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/sinat_23050697/article/details/110519708
版权

处理大数据量数据访问速度缓慢的问题

方案1

水平分库分表，比如根据年份划分，XXX_2019数据库、XXX_2020数据库等等
查询的时候根据查询时间，去不同的数据库查询，然后组合结果返回

示例代码

HistoricalDataManage

方案2

建立历史数据库和实时数据库，历史数据库存储所有数据，实时数据库仅保留常用数据
定时将实时数据库的数据存入历史数据库，并删除实时数据库中的旧数据

参考资料

数据库中的历史数据的处理问题

zLulus
关注
  • 1
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
关于数据仓库中变化历史数据处理方式：全量表、快照表、拉链表
我玩的很开心的博客
09-14 5891
关于数据仓库中变化历史数据处理方式：全量表、快照表、拉链表一、全量表二、快照表三、拉链表 对于数据仓库中变化的历史数据存储，一般有三种方式：全量表、快照表、拉链表 一、全量表 直接全量导入，覆盖旧数据，保存每天所有的最新状态的数据 优点： 效率比较高,可以查看最新数据 缺点： 查看不到历史数据 二、快照表 按日分区，记录截止数据日期的全量数据，一天一个分区 优点： 效率比较高,可以查看最新数据也可以查看历史数据 缺点： 占用的磁盘空间比较大 例： 有一个user表，每天更新上传昨天的最新数据，比如是今
mysql 历史数据迁移,MySQL 历史数据表迁移方法
weixin_36064196的博客
03-17 2379
历史数据迁移分三个步骤进行：在线库与历史库把需要迁移(或转入)的表都改成分区表在线库上的历史数据迁移到历史库在线库上删除已备份的历史数据其中步骤1只执行一次，步骤2、3可以每月执行一次，即每月清理一次历史数据。下面是每一步的方案比较：一. 在线库与历史库需要迁移的表都改成分区表把需要迁移(或迁入)的表改成分区表，每月一个分区，改成分区表不需要对目前前的程序进行修改，对之前的应用是透明的。改成分区表...
历史数据解决方案
行者无疆
06-26 6939
很多系统会要求记录历史数据，要求可以追朔历史数据，有些甚至要求可以从历史数据中恢复数据。目前做的一个项目，也有这点要求，于是就做了一个实现方案。本方案采用的是关系数据库表记录的方式，要看系统需求，如果确实数据量比较大的话，可以采用NoSql数据库如MangoDB来存储。 方案如下： 1.  系统中每一张表都有一个历史表，要记录所有业务的历史数据，历史表里面是最完整的记录，主表里面是最新有效
oracle 查历史数据,Oracle 查询历史数据（转帖）
weixin_36387422的博客
04-15 6618
回复误删除数据信息。1、执行 alter tabletable_name enable row movement;2、执行 FlashBack tabletable_name to timestamp to_timestamp('2012-05-24 14:59:36','yyyy-mm-dd hh24:mi:ss');查询历史操作数据信息。比较合理的方法是先从闪回区查找出被误删的数据，再将被...
常见数据处理方法
jyj019的博客
05-14 9791
有时候更多数据处理从语言角度，调用不同api处理数据。但是从业务的角度想就很少了，最近从业务的角度了解了下常见数据处理的方法，总结如下：
【OSM历史数据获取及处理】
weixin_45795153的博客
04-11 2885
以"amenity"=>“fast_food"为例，当这一串字符串出现在末尾时，可能会出现末尾的"丢失，使用re.findall(r”“amenity”=>“(.*?（上方的oregon-internal.osh.pbf，包含所有年份的osm数据，需要登录osm账号之后进入internal server才可下载，需要使用osmium或其他插件/软件操作）获取，以美国数据为例，最小只能获取到某个州的整体数据，具体到某个市的数据可通过裁剪整个州的数据获取。以美国Oregon州的Portland市为例。
大数据处理技术简介
qq_42932834的博客
04-26 9258
第一章：大数据处理技术简介 前言：关于大数据与云计算的这几篇文章是我一天中从教材里手打整理的，另外其中也附上了我个人的理解，记作我以后翻看的笔记。 1.提升单处理器计算机系统计算速度的常用技术手段有： (1).提升计算机处理器字长———>CPU寻址位数越多，计算能力越强 (2).提高处理器芯片集成度———>增加芯片中晶体管的数量 (3).提升处理器的主频—————>主频越高，每秒...
数据处理流程总结
热门推荐
PassionZheng的博客
01-05 1万+
一.数据分析 1.什么是数据分析？ 2.数据分析的分类 3.数据分析的三大作用 现状分析、原因分析、预测分析。 4.数据分析的流程 1.问题的定义：明确目的和思路（具有数据思维） 问正确的问题往往是成功的一半。——邱老师 首先你需要确定去分析的问题是什么？你想得出哪些结论？即，先明确分析目的：问题的定义可能需要你去了解业务的核心知识，并从中获得一些可以帮助你进行分析的经验。 然后梳理分析思路...
OceanBase历史数据归档方案技术原理解读
最新发布
码到三十五
05-26 7513
作为一款 HTAP 数据库产品， OceanBase 使用基于 LSM-Tree 架构的存储引擎，同时支持 OLTP 与 OLAP 负载，这种存储架构提供了优秀的数据压缩能力。在 OceanBase 中，增量数据会写入 clog 和 memtable 中， OceanBase 的 memtable 是内存中的 B+ 树索引，提供高效的事务处理能力。
基于实时数据库系统的历史数据处理.pdf
08-15
【基于实时数据库系统的历史数据处理】这篇文档主要探讨了在工业生产环境中，如何利用实时数据库系统有效管理和处理历史数据的问题。实时数据库（RTDB）是传统数据库技术与实时系统结合的产物，尤其在厂级信息监控...
ArcGIS Model Builder在历史数据处理中的应用.pdf
08-15
【ArcGIS Model Builder在历史数据处理中的应用】 ArcGIS Model Builder是Esri公司开发的GIS（地理信息系统）软件ArcGIS中的一个重要组件，主要用于构建和执行数据处理的工作流程。在历史数据处理，特别是测绘和...
组态软件中的历史数据处理过程.pdf
08-15
#资源达人分享计划#
DRG历史数据处理20201215.xmind
10-14
DRG历史数据处理20201215.xmind
基于实时数据库系统的历史数据处理初探.pdf
08-15
#资源达人分享计划#
mysql: The target table of the UPDATE is not updatable
L.的博客
12-07 1万+
目标是批量更新目标表部分字段的数据 操作内容： 1.创建临时表 drop table if exists tempTableXXX create table tempTableXXX ( TEMP_ID int not null, BM varchar(14) ) 2.把数据存入临时表 3.把临时数据中的数据存入目标表 update targetTableXXX ,(select * from tempTableXXX ) b set BM=b.BM where b.TEMP_ID=targetTab
sql server使用正则表达式
L.的博客
12-09 4001
目标 为数据库创建一个正则表达式函数，供查询使用 不建议使用函数，能查询到内存里面用代码解决的就用代码解决！！！ 这里的方法仅供参考 操作 1.新建sql server项目 [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-BmEHyF1U-1607503197771)(https://user-images.githubusercontent.com/19277908/44075424-55e5e8be-9fcf-11e8-8f77-f48b7686499e.png)] 2.定
SQL Server 检查索引是否存在
L.的博客
03-07 1611
以SQL Server为例，检查索引是否存在，如果不存在，则创建索引。
C#读取mdb文件
L.的博客
12-07 1598
OdbcConnection、OleDbConnection均可读取mdb文件 OleDbConnection private static void UseOleDbConnection(string filePath,string sql) { var myConnectionString = @"Provider=Microsoft.Jet.OLEDB.4.0;" + $"Data Source={filePath};" + "Persist Security Info=
需要描写一下，单据审批系统中，作废和删除的历史数据处理办法的PRD
05-20
产品说明文档（PRD）——单据审批系统中作废和删除历史数据处理办法 一、背景 随着企业信息化程度的不断提高，单据审批系统已经成为了企业中必不可少的一部分。单据审批系统涉及到企业中众多的业务流程，包括请假、报销、采购等，而随着业务的不断增加，系统中的历史数据也会越来越多。在一些特殊情况下，用户需要对历史数据进行作废或删除操作，但是这样会给系统带来一定的安全隐患和数据丢失问题。因此，我们需要对作废和删除的历史数据进行处理，以保证系统的安全性和数据的完整性。 二、需求分析 1.作废历史数据 在单据审批系统中，作废历史数据是指将原本已经审批通过的数据标记为无效状态。此时，用户将无法对该数据进行任何修改和操作，但是该数据仍然可以被查询和查看。作废历史数据的需求分析如下： （1）权限控制：只有具有特定权限的用户才能进行作废操作，以保证数据的安全性。 （2）历史数据的保留：作废操作仅仅是将数据标记为无效状态，并不会删除数据，保留历史数据以备后续需要。 （3）用户提示：在进行作废操作时，系统需要给出相应的提示，以免误操作。 （4）查询和过滤：在查询历史数据时，需要支持对作废数据的过滤和查询。 2.删除历史数据 在单据审批系统中，删除历史数据是指将原本已经审批通过的数据从系统中完全删除。这样做会带来一定的安全隐患和数据丢失问题，因此，删除历史数据需要满足以下需求： （1）权限控制：只有具有特定权限的用户才能进行删除操作，以保证数据的安全性。 （2）操作提示：在进行删除操作时，系统需要给出相应的提示，以免误操作。 （3）备份和恢复：在进行删除操作前，需要对数据进行备份，以备后续需要。同时，需要提供数据恢复功能，以防误删数据。 （4）彻底删除：删除操作应该是彻底的，即删除后无法恢复。 三、设计方案 1.作废历史数据 在实现作废历史数据功能时，需要对数据表进行设计调整，增加一个字段用于标识数据是否被作废。同时，需要在系统中增加一个权限控制模块，对作废操作进行控制。 在进行作废操作时，系统需要先进行权限校验，只有具有特定权限的用户才能进行作废操作。在作废操作完成后，需要将数据状态标记为无效状态，并在前端页面给出相应的提示信息。在查询历史数据时，需要增加一个过滤条件，以便用户筛选出作废数据。 2.删除历史数据 在实现删除历史数据功能时，需要对数据表进行设计调整，增加一个字段用于标识数据是否被删除。同时，在系统中增加一个权限控制模块，对删除操作进行控制。 在进行删除操作时，系统需要先进行权限校验，只有具有特定权限的用户才能进行删除操作。在删除操作完成前，需要对数据进行备份，以备后续需要。在删除操作完成后，需要将数据从数据库中彻底删除，并在前端页面给出相应的提示信息。在误删数据时，需要提供数据恢复功能。 四、总结 单据审批系统中，作废和删除历史数据是必不可少的功能，但是这样的操作也会带来一定的安全隐患和数据丢失问题。因此，在实现这些功能时，需要注意权限控制和数据备份等问题，以保证数据的安全性和完整性。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值