大数据量的存储建议方案(不断更新,希望大家给建议)

原创 2007年09月20日 11:22:00
对于海量数据处理,经验:
对大表的处理:
1 使用表分区 将文件创建到多个磁盘上,以增大IO,加快读写速度
2 建立索引 加快查询效率
3 使用中间表 如果对大表有聚合等操作要借助中间表
4 进行处理时在DTS(2005IS)里面处理 在企业管理器里面会超时,DTS IS是在数据库外面进行处理,这样永远不会超时,
5 减少每次的批处理数量 这样在CHACHE中处理的条数变少,会提高性能.
6 加大虚拟内存,系统缓存 在多个磁盘分区上建立BUFFER.
7 加大硬件方面的设施,如,CPU,内存等
 
版权声明:本文为博主原创文章,未经博主允许不得转载。

相关文章推荐

大数据量并发建议

大数据量并发建议

* java版HashMap,大数据量时效率很低,建议1000条数据以下使用

/*  * java版HashMap,大数据量时效率很低,建议1000条数据以下使用  */ function HashMap(){         var DEFAULT_CAPACIT...

高效能,大数据量存储方案SqlBulkCopy

前些日子,公司要求做一个数据导入程序,要求将Excel数据,大批量的导入到数据库中,尽量少的访问数据库,高性能的对数据库进行存储。于是在网上进行查找,发现了一个比较好的解决方案,就是采用SqlBulk...

编写高质量代码:改善Java程序的151个建议 勘误 [不断更新]

最近在读这本书,不可否认是本好书,不过错误难免,对于书中的一些有所异议,所以记录在案,仅供参考: 1   20条建议: 34页, 什么会编译进CLASS, 笔者说是final基本类型或者st...

大数据量联合主键的插入更新解决方案

数据量大了之后想对一张表的数据进行插入/更新就会非常慢!目前环境是一张主表数据量在一亿的样子,之前做插入更新处理是用的KETTLE抽取工具,然而这张表是四个字段的联合主键,这样判断起来效率就会非常低,...

争对mysql表数据量比较大时优化的几点建议

争对mysql数据表的优化网上给的方案也是多种多样,下面这些是我自己在网上看到的一些优化方案,在此整理一下:       对于数据量比较多的问题结合优化成本给出的优化顺序可以分为以下几步: ...

存在汇总统计等功能的大数据量报表的优化方案

对于大数据量,多层分组的的汇总报表不能采用分页标签,可以采用如下的优化方案: 一、先初步对报表进行优化: 1、尽量在sql实现group分组,数据库虽然要进行分组运算,但是数据库中有索引,运算速度...

大数据量导出Excel的方案

测试共同条件:  数据总数为110011条,每条数据条数为19个字段。  电脑配置为:P4 2.67GHz,1G内存。  一、POI、JXL、FastExcel比较  POI、JXL、FastEx...
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:深度学习:神经网络中的前向传播和反向传播算法推导
举报原因:
原因补充:

(最多只允许输入30个字)