![](https://img-blog.csdnimg.cn/20190927151124774.png?x-oss-process=image/resize,m_fixed,h_224,w_224)
大规模数据测试
文章平均质量分 79
大规模数据测试
sun0322
NULL
展开
-
使用mysql导入数据
------■创建数据库create database csdn DEFAULT CHARACTER SET UTF-8;■创建用户表create table user(id int not null auto_increment primary key,userid varchar(33)NOT NULL,password varchar(33)NOT NULL,mail varchar(33)NOT NULL)Engine=MyISAMDEFAULT ...原创 2021-04-24 21:34:11 · 580 阅读 · 0 评论 -
Linux系统性能相关知识学习
https://blog.csdn.net/sxzlc/article/details/104872052---15.daemon 守护进程系统为了某些功能必须要提供一些服务(不论是系统本身还是网络方面),这个服务就是service.实现这个service的程序称为daemon. daemon主要分为两类 stand alone:此daemon可以自行单独启动服务 super daemon:一个特殊的daemon来同一管理 这个特殊的daemon被称为s...原创 2021-03-20 09:11:09 · 531 阅读 · 0 评论 -
Chrome浏览器 开发者工具中的 Performance
目录■Chrome浏览器 开发者工具中的 Performance■画面■代码 (2009年前后,大学时期写的代码。)■Chrome浏览器 开发者工具中的 Performance其中有Network,可以查看请求(Form中的action)花费的时间。---Screeshots 是屏幕录制的意思,没有特殊需要,不用勾选此选项------■画面---■代码 (2009年前后,大学时期写的代码。)<form action="/sxz/log原创 2021-04-02 22:46:30 · 513 阅读 · 0 评论 -
大规模数据运行时,可以考虑使用多线程处理!
今年3月份测试了一段代码,数据库中有300万条数据,抽出处理后写入文件中。大规模数据执行时,希望24小时内执行完毕,但是实际测试中,时间达到了27个小时之多。------------------------------------------------------今天又看到了这段代码,发现他们应该已经解决了这个问题。他们解决的方式是才有多线程进行处理。(以下...原创 2012-09-10 16:35:49 · 3894 阅读 · 1 评论 -
【总结】大规模数据测试,数据准备时需要注意的问题(【保护已有数据】【大规模数据影响普通测试】【不要着急删除数据】)
有时我们要进行大规模的数据测试,要往DB中插入大量的数据。一下有三点是我们要考虑的:【保护已有数据】这么做有两个目的1.我们只想对我们插入的数据进行测试。2.我们在测试结束之后,还要删除我们插入的数据。如何做(可以作为区分的条件:程序中抽出数据时的条件,作为我们用以区分的条件)举例 比如:抽出数据的条件是 select * from user wher原创 2012-05-17 21:00:30 · 1662 阅读 · 0 评论 -
【总结】大规模数据(300万条)测试时,需要注意的问题。
前言前两天,执行了一个batch处理300万条数据程序执行了33小时11分40秒并且产生了10G多的log文件 事前准备(数据导入)①数据导入所采取的方式执行数据数据插入时,我们选择的方式最好是批处理写一个存储过程,来对数据进行插入操作。在oracle下面,我们还可以选择sqlldr命令导入ctl文件的方式导入数据。 ②如何执行导入数据用的存储过程(原创 2012-04-27 12:11:13 · 2524 阅读 · 1 评论 -
大规模数据生成 (500万条数据)
前言: 最近有一个作业需要 对 大规模数据 进行 性能测试 需要500万条数据,这是一个很大的量,我们无法通过cvs文件这种方式把数据导入数据库 我开始想到了一个解决方案,使用java程序,循环500万次,执行更新语句,把数据插入到数据库中。 这种方式虽然方便了操作,但是效率一定很慢。 下面给出最优的解决方案 使用存储过程,进行数据插入原创 2012-04-13 09:00:55 · 2433 阅读 · 0 评论 -
在oracle中 生成大规模数据 500万条 (使用导入数据方式 sqlldr 导入命令 *.ctl文件)
在Oracle中导入数据 Oracle中导入数据时,使用的文件后缀是*.ctl 命令是 sqlldr sqlldr username/password control = 'TBL_EMP,ctl' 从postgre中导出部分数据psql saison -c 'select user_id, user_name from user order by 1,2'原创 2012-04-20 09:52:20 · 2639 阅读 · 0 评论 -
重新启动postgre报错时,解决方案 ( 由备份文件占用空间太大造成 ) (linux 命令 df -h 查看磁盘空间)
在这里使用了一个liunx下的命令查看磁盘空间df: disk free http://www.cnblogs.com/chenwenbiao/archive/2011/08/07/2129831.html常用参数:df -h-------------------------------------1.在Linux下重新启动postgrepg_ctl restart (p原创 2012-04-23 15:52:56 · 4665 阅读 · 1 评论 -
Linux 下使用Postgre中的命令,要使用postgres这个用户
问题:使用root用户连接linux执行psql命令(比如 psql -l 命令) 报错: rote "root" dose not exist 解决方案:切换到psql下的用户 命令是:su postgres 用户切换之后,便可以执行下面的命令了psql -l 查看用户信息 实例:这次需要执行的是,导出部分数据psql saison -c 'se原创 2012-04-19 16:53:28 · 6987 阅读 · 0 评论 -
执行Oracle中的sqlldr xxx.ctl命令导入数据时,当错误无法导入时,注意查看「xxx.log信息」
当我们在执行这个SQL语句时sqlldr username/password control = 'TBL_EMP.ctl'会在当前目录下生产一个TBL_EMP.log文件 当我们的TBL_EMP.ctl中的SQL语句有问题时,会直接在控制台报错但是,当插入的数据违反一些约束时,比如字段不能为空,错误信息便会在log信息中显示原创 2012-04-23 10:00:55 · 5317 阅读 · 0 评论