红包活动实战记录

一 如何将大量的数据（百万计）正确导入到数据库
1. 首先拿到数据， 本例中卫 **.dat 文件，数据字段选择一种分割符隔开，eg
20160926##88747447##6227272828##小明##1
20160926##83837738##6223838337##小花##2
2. 通过plsql建表，建立表结构，最好指定表空间和默认增长，字段长度最好是大于实际，防止空格超长问题。
–Create table
create table tableTest1(
A varchar2(50),
B varchar2(50),
C varchar2(50),
D varchar2(50),
E varchar2(50)
)
tablespace tablespace1
pctfree 10
storge(
initial 300M
next 50M
minextents 1
maxextents unlimited
)
3. 准备导入数据，上传原始数据文件指数据库所在的服务器，在crt中 使用命令 wc -l **.dat 统计该原始文件有多少行数据
4. 使用 touch **.ctl 文件写入如下信息，根据实际情况做相应的调整。
options(DIRECT=TRUE)
load data
infile ‘/home/test/**.dat’
badfile ‘/home/test/**.bad’
discardfile ‘/home/test/**.discard’
append into talbe yitong.tableTest1
fields terminated by ‘##’
trailing nullcols(
A char(400),
B char(400),
C char(400),
D char(400),
E char(400),
)
5.赋予执行权限，执行该文件，会产生同名的*.log文件，记录导入过程，在该文件所在目录下执行 sqlldr 数据库用户名/对应密码 control=*.ctl

注：在这些数据中有一个筛选的要求，根据身份证过滤，保证身份证唯一，去除身份证相同情况下金额较小的数据
select idno,max(amount) as money from table group by idno;