Oracle 快速load数据的方法--SQL*Loader

原创 2012年03月31日 23:08:56

Oracle可以快速load数据,相比之前测试过的批量插入方法(1KW条记录耗时近2分钟)也要快很多


准备数据文件

在内存的vector中生成1KW条记录,然后写到指定的数据文件中

#include <string.h>
#include <stdio.h>

#include <unistd.h>
#include <vector>
using namespace std;

#include "clocktool.h"

typedef struct User_Record
{
    char id[16];
    char name[32];
    char passwd[16];
}USER_RECORD;


int main(int argc, char** argv)
{
    int iTimes = 10000000;

    vector<User_Record*> vec;
    TimeTool cktool;

    User_Record* pRecord = NULL;
    cktool.begin();
    for (int i = 0; i < iTimes; ++i)
    {
        pRecord = new User_Record;
        memset(pRecord, 0, sizeof(struct User_Record));
        sprintf(pRecord->id, "%d", i);
        sprintf(pRecord->name, "%ld", 18600000000+i);
        strcpy(pRecord->passwd, "111111");
        vec.push_back(pRecord);
    }
    cktool.end();
    printf("cost %f\n", cktool.getInterval());

    cktool.reset();

    cktool.begin();
    FILE* pf = fopen("./load.data", "w");
    if (pf)
    {
        char buff[256];
        int iResult = 0;
        for (int i = 0; i < iTimes; ++i)
        {
            memset(buff, 0, sizeof(buff));
            iResult = sprintf(buff, "%s, %s, %s\n", vec[i]->id, vec[i]->name, vec[i]->passwd);
            fwrite(buff, 1, iResult, pf);
        }
        fclose(pf);
    }
    cktool.end();
    printf("cost %f\n", cktool.getInterval());

    vector<User_Record*>::iterator it = vec.begin();
    for (; it != vec.end(); ++it)
    {
        delete (*it);
    }
    return 0;
}


执行结果:

cost 2.796853
cost 3.715381


通过SQL*Loader加载数据

编写load.ctl文件

load data
infile 'load.data'
into table base_users
fields terminated by ","
(userid, username, passwd)


清除原有数据

SQL> truncate table base_users;


对于大数据量的加载,追求效率的时候建议关闭log

SQL> alter table base_users nologging;


运行load加载命令

sqlldr userid=cat/cat control=load.ctl log=load.log direct=y

通过测试发现其中direct=y非常重要,大幅提升了数据加载的效率。检查load.log日志可以发现执行时间大概就是在12秒左右

Total logical records skipped:          0
Total logical records read:      10000000
Total logical records rejected:         0
Total logical records discarded:        0
Total stream buffers loaded by SQL*Loader main thread:     2204
Total stream buffers loaded by SQL*Loader load thread:        0


Run began on Sat Mar 31 22:47:07 2012
Run ended on Sat Mar 31 22:47:19 2012


Elapsed time was:     00:00:11.73
CPU time was:         00:00:05.31

可以参考:http://hi.baidu.com/radioxhk/blog/item/c1497e1747ad160cc83d6d0c.html


Oracle SQL Loader

 一:SQL Loader 的特点 oracle自己带了很多的工具可以用来进行数据的迁移、备份和恢复等工作。但是每个工具都有自己的特点。 比如说exp和imp可以对数据库中的数据进行导出和导出的工作,...
  • tianlesoftware
  • tianlesoftware
  • 2009年10月15日 09:23
  • 14109

ORACLE sql loader 导入大数据的方式

sql loader 工具它可以把一些以文本格式存放的数据顺利的导入到oracle数据库中,是一种在不同数据库之间进行数据迁移的非常方便而且通用的工具。缺点就速度比较慢(比直接INSERT INTO快...
  • ycyez
  • ycyez
  • 2015年04月11日 16:46
  • 9002

使用SQL*Loader将CSV文件数据导入ORACLE数据表

使用SQL*Loader将CSV文件数据导入ORACLE数据表 LuckySYM 1. 环境条件与操作目标 (1) Oracle中存在一个Employee表,表中包含4个字段: ...
  • luckysym
  • luckysym
  • 2012年09月11日 23:20
  • 5244

ORACLE SQL Loader的详细语法

  Oracle   SQL   Loader的详细语法     SQL*LOADER是ORACLE的数据加载工具,通常用来将操作系统文件迁移到ORACLE数据库中。SQL*LOADER是大型数据  ...
  • huanghui22
  • huanghui22
  • 2006年09月21日 10:45
  • 9047

大量插入:使用SQL*Loader Direct Path选项

8.5  调整数据操作 一些数据操作任务--  通常是涉及大量数据的操作,可能需要DBA的参与。在加载和删除大量数据时,可以有一些选择,下面各小节将描述这些选择。 8.5.1  大量插入:使用SQ...
  • saming2010
  • saming2010
  • 2013年07月25日 10:30
  • 662

Oracle sql loader 导数据时添加序号的三种方法

1.用触发器和序列实现CREATE SEQUENCE u.seq_questionnoSTART WITH 0MAXVALUE 999999999999999999999999999MINVALUE ...
  • wzy0623
  • wzy0623
  • 2016年12月29日 13:11
  • 999

Oracle SqlLoader使用

在 Oracle 数据库中,我们通常在不同数据库的表间记录进行复制或迁移时会用以下几种方法: 1. A 表的记录导出为一条条分号隔开的 insert 语句,然后执行插入到 B 表中 2. 建立数据库...
  • sun120204535
  • sun120204535
  • 2017年09月14日 16:36
  • 258

如何在SqlLoader中装载日期型的数据

收到别人的邮件,咨询SqlLoader装载日期型数据的方法,觉得也许是一个普遍的疑问,所以贴出来。Q:kamus:    斑竹你好,最给予到一件麻烦事,想请教    请问Sql loader工具能否加...
  • Kamus
  • Kamus
  • 2005年06月06日 02:40
  • 9986

SQL*Loader的使用总结(一)

SQL*Loader是oracle提供的可以从多种平面文件中向数据库中加载数据的工具,使用SQLLDR工具可以在很短的时间内向数据库中加载大量的数据,像把制作好的excel表格导入数据库,可以说非常方...
  • u011364306
  • u011364306
  • 2016年01月27日 09:33
  • 4078

Oracle SQL*Loader

-- Start SQL*Loader 是 Oracle 提供的一个工具用来将文件中的数据导入到一个或多个表中。你可以在 Oracle 的安装目录中找到它 C:\oraclexe\app\oracle...
  • shangboerds
  • shangboerds
  • 2015年02月20日 15:56
  • 2241
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:Oracle 快速load数据的方法--SQL*Loader
举报原因:
原因补充:

(最多只允许输入30个字)