最近在处理一些数据,数据量比较大的数据,记录下使用方法和过程,以备日后查看
如果使用insert插入超过1000条时间就有点长了(5、6分钟)
使用plsql的text import 导入8万条耐心等一会也可以忍受,
但是我们要处理的是500万条数据,尝试了几种方法,最后选择了sqlldr
首先会有一个数据文件,这个数据文件是文本型的 txt\csv\nul\del都没关系,只要内容遵循一定规则,比如逗号分割和定长
在数据库中新建一个存放这些数据的表
如:
在数据库中新建一个存放这些数据的表
如:
create table users(
user_id number, --用户 ID
user_name varchar2(50), --用户名
login_times number, --登陆次数
last_login date--最后登录日期
);
user_id number, --用户 ID
user_name varchar2(50), --用户名
login_times number, --登陆次数
last_login date--最后登录日期
);
在其中插入任意条数据,然后通过plsql导出为csv文件:users_data.csv
建立一个控制文件 users.ctl,内容如下:
---文件开始
OPTIONS (skip=1,rows=128) -- sqlldr 命令显示的选项可以写到这里边来,skip=1 用来跳过数据中的第一行,如果没有参数此行可去掉
LOAD DATA INFILE "/home/users_data.csv" --指定外部数据文件,可以写多个 INFILE "
OPTIONS (skip=1,rows=128) -- sqlldr 命令显示的选项可以写到这里边来,skip=1 用来跳过数据中的第一行,如果没有参数此行可去掉
LOAD DATA INFILE "/home/users_data.csv" --指定外部数据文件,可以写多个 INFILE "