关于SPOOL(SPOOL是SQLPLUS的命令,不是SQL语法里面的东西。)
对于SPOOL数据的SQL,最好要自己定义格式,以方便程序直接导入,SQL语句如:
select taskindex||'|'||commonindex||'|'||tasktype||'|'||to_number(to_char(sysdate,'YYYYMMDD')) from ssrv_sendsms_task;
spool常用的设置
set colsep' '; //域输出分隔符
set echo off; //显示start启动的脚本中的每个sql命令,缺省为on
set feedback off; //回显本次sql命令处理的记录条数,缺省为on
set heading off; //输出域标题,缺省为on
set pagesize 0; //输出每页行数,缺省为24,为了避免分页,可设定为0。
set termout off; //显示脚本中的命令的执行结果,缺省为on
set trimout on; //去除标准输出每行的拖尾空格,缺省为off
set trimspool on; //去除重定向(spool)输出每行的拖尾空格,缺省为off
导出文本数据的建议格式:
SQL*PLUS环境设置SET NEWPAGE NONE
SET HEADING OFF
SET SPACE 0
SET PAGESIZE 0
SET TRIMOUT ON
SET TRIMSPOOL ON
SET LINESIZE 2500
注:LINESIZE要稍微设置大些,免得数据被截断,它应和相应的TRIMSPOOL结合使用防止导出的文本有太多的尾部空格。但是如果LINESIZE设置太大,会大大降低导出的速度,另外在WINDOWS下导出最好不要用PLSQL导出,速度比较慢,直接用COMMEND下的SQLPLUS命令最小化窗口执行。
对于字段内包含很多回车换行符的应该给与过滤,形成比较规矩的文本文件。通常情况下,我们使用SPOOL方法,将数据库中的表导出为文本文件的时候会采用两种方法,如下述:
方法一:采用以下格式脚本
set colsep '|' --设置|为列分隔符
set trimspool on
set linesize 120
set pagesize 2000
set newpage 1
set heading off
set term off
set num 18
set feedback off
spool 路径+文件名
select * from tablename;
spool off
方法二:采用以下脚本
set trimspool on
set linesize 120
set pagesize 2000
set newpage 1
set heading off
set term off
spool 路径+文件名
select col1||','||col2||','||col3||','||col4||'..' from tablename;
spool off
比较以上方法,即方法一采用设定分隔符然后由sqlplus自己使用设定的分隔符对字段进行分割,方法二将分隔符拼接在SELECT语句中,即手工控制输出格式。
在实践中,发现通过方法一导出来的数据具有很大的不确定性,这种方法导出来的数据再由sqlldr导入的时候出错的可能性在95%以上,尤其对大批量的数据表,如100万条记录的表更是如此,而且导出的数据文件狂大。
而方法二导出的数据文件格式很规整,数据文件的大小可能是方法一的1/4左右。经这种方法导出来的数据文件再由sqlldr导入时,出错的可能性很小,基本都可以导入成功。
因此,实践中我建议大家使用方法二手工去控制spool文件的格式,这样可以减小出错的可能性,避免走很多弯路。
自测例:将ssrv_sendsms_task表中的数据导出到文本(数据库Oracle 9i 操作系统 SUSE LINUX Enterprise Server 9)
spool_test.sh脚本如下:
#!/bin/sh
DB_USER=zxdbm_ismp #DB USER
DB_PWD=zxin_smap #DB PASSWORD
DB_SERV=zx10_40_43_133 #DB SERVICE NAME
sqlplus -s $DB_USER/$DB_PWD@$DB_SERV<<EOF # -s 参数屏蔽打印到屏幕上的其他信息,只显示sql执行后从DB中查询出来的信息,过滤掉spool函数执行时在文件中写入的其他信息。
set trimspool on
set linesize 120
set pagesize 2000
set newpage 1
set heading off
set term off
spool promt.txt
select taskindex||'|'||commonindex||'|'||tasktype||'|'||to_number(to_char(sysdate,'YYYYMMDD')) from ssrv_sendsms_task;
spool off
EOF
执行./spool_test.sh后生成sp_test.txt,内容如下:
83|115|1|20080307
85|115|11|20080307
86|115|10|20080307
84|115|2|20080307
6|5|14|20080307
7|5|12|20080307
9|5|15|20080307
注:上面自测例中,spool promt.txt中的目标生成文件promt.txt,在HP-UNX环境下的shell脚本中调用Oracle的spool函数,如果将上述逻辑代码封装为一个function,然后来调用这个function的话,则在shell脚本中最终是不会生成promt.txt文件的。只能直接执行逻辑代码,封装后则spool函数失效。
对于promt.txt在相对路径下,下面2中方法在shell环境中执行时,两者只能择一,两者并存则spool函数会失效。假设promt.txt文件生成的路径为:/home/zxin10/zhuo/batchoperate/spoolfile
方式[1]
echo "start spool in shell.."
sqlplus -s zxdbm_ismp/zxin_smap<<EOF
set pagesize 0
set echo off feed off term off heading off trims off
set colsep '|'
set trimspool on
set linesize 10000
set trimspool on
set linesize 120
set newpage 1
spool /home/zxin10/zhuo/batchoperate/spoolfile/promt.txt
select batchindex||'|'||productid||'|'||contentid||'|'||optype||'|'||uploadfile from zxdbm_700.s700_batch_operation where status=1;
spool off
EOF
echo "end.."
方式[2]
echo "start spool in shell.."
cd /home/zxin10/zhuo/batchoperate/spoolfile
sqlplus -s zxdbm_ismp/zxin_smap<<EOF
set pagesize 0
set echo off feed off term off heading off trims off
set colsep '|'
set trimspool on
set linesize 10000
set trimspool on
set linesize 120
set newpage 1
spool promt.txt
select batchindex||'|'||productid||'|'||contentid||'|'||optype||'|'||uploadfile from zxdbm_700.s700_batch_operation where status=1;
spool off
EOF
echo "end.."
========================================================================
spool命令示例:
以下保存为SQL脚本,在SQLPlus中运行
set echo off set timing off --关闭返回执行时间
set heading off --设置不显示列名
set feedback off --设置不返回选择数据行数
set linesize 320 --设置每行记录字符长度为320字符(1个汉字两个字符)
set pagesize 24 --设置每页行数24条(默认值24)
set newpage 1 --设置新页前1个空行(默认值1)
set trimspool on --设置删除spool写入文件前时输出的尾随空格(默认值OFF)
set termout off --设置屏幕不捕捉、不显示查询结果集(文本文件执行SQL方生效)
spool F:\exp.tsv --spool设置导出文件的完整的路径(包含文件名);此时文件已存在,打开,文件不存在,创建并打开。在执行spool off命令前,不能对该文件进行修改保存。
SELECT '导出的内容' FROM DUAL; --要导出的数据的查询语句
spool off --关闭文件,完成数据导出
spool命令参数详解
set echo <on|off>set timing <on|off>:
开启/关闭返回执行时间;默认值OFF 设置为ON(开启),目前没有发现对执行速度的影响,可忽略。开启后,执行时间将被写入导出文件最后一行。
set heading <on|off>:
开启/关闭每页显示列名;默认值ON设置为ON(开启),每一页数据都将增加一行列名。开启后,导出文件会增大,降低导出数据的速度(具体增大量与对速度的影响取决于pagesize参数的设置);
set feedback <on|off>:
开启/关闭返回行记录数;默认值ON设置为ON(开启),目前没有发现对执行速度的影响,可忽略。开启后,执行时间将被写入导出文件最后一行(如果开启返回执行时间,在返回执行时间前两行)。
set linesize <整数:1至32767>:
文本文件每行字符长度(1个汉字占2个字符)设置的长过大,将影响导出的速度(未测试),过小(小于某条数据与该行所有分隔符字符总数),该条记录将会被拆分成多行。该参数要根据实际表情况进行设定。
set pagesize <整数:0至50000>:
结果集每页记录数;默认值24设置的越小,文件越大,但对导出大量数据影响不大。因为设置越小,数据相同情况下,空行越多。
set newpage <非负整数>:
新页前空行数;默认值1默认值为1,每一页前存在1个空行。设置为0,每一页的第一行前存在一个换行符号,没有空行。为保持数据整洁,建议使用默认值1。
set colsep ‘<字符>’:
数据列间隔符不建议使用该参数,该参数极度影响导出性能(已测试),且导出的文件在SQL Loader中进行数据导入的失败率相当高(未测试)。设置该参数后,导出文件速度与大小成倍增加,具体视数据量而定。建议使用在数据库查询语句中编辑输出格式。
set trimspool <on|off>:
spool写入文件前时是否将输出的尾随空格删除;默认OFF 假设linesize参数设置为300,而某行数据与该行所有分隔符字符总数为200,则该行尾随空格数为100,设置为ON(开启),可以将此类空格删除,减小导出文件大小,提高文件导出速度。
set termout <on|off>:
屏幕是否显示查询数据;默认值ON
设置OFF(关闭,文本文件执行SQL方生效),在导出大量数据时,可以显著提高导出文件的速度。
spool <[文件路径+]文件名>:
spool设置导出文件的完整的路径(包含文件名);以独占方式打开文件。在文件不存在时,自动创建该文件,并打开;文件存在时,打开该文件。该处打开文件均以独占方式打开,已存在的文件都将被覆盖(原数据将丢失)。
<数据库查询语句>:
要导入文件的数据的查询语句;必须以分号结尾此处为数据库查询语句,避免使用colsep参数,提高导出性能,建议在此处对导出数据做格式转换。如:SELECT t.OWNER || ',' || t.TABLE_NAME FROM DBA_TABLES t;
文本文件执行该语句或该文件,settermout off命令方生效
spool off:
关闭spool语句,即关闭导出的文件结束导出操作,关闭导出文件。
对于SPOOL数据的SQL,最好要自己定义格式,以方便程序直接导入,SQL语句如:
select taskindex||'|'||commonindex||'|'||tasktype||'|'||to_number(to_char(sysdate,'YYYYMMDD')) from ssrv_sendsms_task;
spool常用的设置
set colsep' '; //域输出分隔符
set echo off; //显示start启动的脚本中的每个sql命令,缺省为on
set feedback off; //回显本次sql命令处理的记录条数,缺省为on
set heading off; //输出域标题,缺省为on
set pagesize 0; //输出每页行数,缺省为24,为了避免分页,可设定为0。
set termout off; //显示脚本中的命令的执行结果,缺省为on
set trimout on; //去除标准输出每行的拖尾空格,缺省为off
set trimspool on; //去除重定向(spool)输出每行的拖尾空格,缺省为off
导出文本数据的建议格式:
SQL*PLUS环境设置SET NEWPAGE NONE
SET HEADING OFF
SET SPACE 0
SET PAGESIZE 0
SET TRIMOUT ON
SET TRIMSPOOL ON
SET LINESIZE 2500
注:LINESIZE要稍微设置大些,免得数据被截断,它应和相应的TRIMSPOOL结合使用防止导出的文本有太多的尾部空格。但是如果LINESIZE设置太大,会大大降低导出的速度,另外在WINDOWS下导出最好不要用PLSQL导出,速度比较慢,直接用COMMEND下的SQLPLUS命令最小化窗口执行。
对于字段内包含很多回车换行符的应该给与过滤,形成比较规矩的文本文件。通常情况下,我们使用SPOOL方法,将数据库中的表导出为文本文件的时候会采用两种方法,如下述:
方法一:采用以下格式脚本
set colsep '|' --设置|为列分隔符
set trimspool on
set linesize 120
set pagesize 2000
set newpage 1
set heading off
set term off
set num 18
set feedback off
spool 路径+文件名
select * from tablename;
spool off
方法二:采用以下脚本
set trimspool on
set linesize 120
set pagesize 2000
set newpage 1
set heading off
set term off
spool 路径+文件名
select col1||','||col2||','||col3||','||col4||'..' from tablename;
spool off
比较以上方法,即方法一采用设定分隔符然后由sqlplus自己使用设定的分隔符对字段进行分割,方法二将分隔符拼接在SELECT语句中,即手工控制输出格式。
在实践中,发现通过方法一导出来的数据具有很大的不确定性,这种方法导出来的数据再由sqlldr导入的时候出错的可能性在95%以上,尤其对大批量的数据表,如100万条记录的表更是如此,而且导出的数据文件狂大。
而方法二导出的数据文件格式很规整,数据文件的大小可能是方法一的1/4左右。经这种方法导出来的数据文件再由sqlldr导入时,出错的可能性很小,基本都可以导入成功。
因此,实践中我建议大家使用方法二手工去控制spool文件的格式,这样可以减小出错的可能性,避免走很多弯路。
自测例:将ssrv_sendsms_task表中的数据导出到文本(数据库Oracle 9i 操作系统 SUSE LINUX Enterprise Server 9)
spool_test.sh脚本如下:
#!/bin/sh
DB_USER=zxdbm_ismp #DB USER
DB_PWD=zxin_smap #DB PASSWORD
DB_SERV=zx10_40_43_133 #DB SERVICE NAME
sqlplus -s $DB_USER/$DB_PWD@$DB_SERV<<EOF # -s 参数屏蔽打印到屏幕上的其他信息,只显示sql执行后从DB中查询出来的信息,过滤掉spool函数执行时在文件中写入的其他信息。
set trimspool on
set linesize 120
set pagesize 2000
set newpage 1
set heading off
set term off
spool promt.txt
select taskindex||'|'||commonindex||'|'||tasktype||'|'||to_number(to_char(sysdate,'YYYYMMDD')) from ssrv_sendsms_task;
spool off
EOF
执行./spool_test.sh后生成sp_test.txt,内容如下:
83|115|1|20080307
85|115|11|20080307
86|115|10|20080307
84|115|2|20080307
6|5|14|20080307
7|5|12|20080307
9|5|15|20080307
注:上面自测例中,spool promt.txt中的目标生成文件promt.txt,在HP-UNX环境下的shell脚本中调用Oracle的spool函数,如果将上述逻辑代码封装为一个function,然后来调用这个function的话,则在shell脚本中最终是不会生成promt.txt文件的。只能直接执行逻辑代码,封装后则spool函数失效。
对于promt.txt在相对路径下,下面2中方法在shell环境中执行时,两者只能择一,两者并存则spool函数会失效。假设promt.txt文件生成的路径为:/home/zxin10/zhuo/batchoperate/spoolfile
方式[1]
echo "start spool in shell.."
sqlplus -s zxdbm_ismp/zxin_smap<<EOF
set pagesize 0
set echo off feed off term off heading off trims off
set colsep '|'
set trimspool on
set linesize 10000
set trimspool on
set linesize 120
set newpage 1
spool /home/zxin10/zhuo/batchoperate/spoolfile/promt.txt
select batchindex||'|'||productid||'|'||contentid||'|'||optype||'|'||uploadfile from zxdbm_700.s700_batch_operation where status=1;
spool off
EOF
echo "end.."
方式[2]
echo "start spool in shell.."
cd /home/zxin10/zhuo/batchoperate/spoolfile
sqlplus -s zxdbm_ismp/zxin_smap<<EOF
set pagesize 0
set echo off feed off term off heading off trims off
set colsep '|'
set trimspool on
set linesize 10000
set trimspool on
set linesize 120
set newpage 1
spool promt.txt
select batchindex||'|'||productid||'|'||contentid||'|'||optype||'|'||uploadfile from zxdbm_700.s700_batch_operation where status=1;
spool off
EOF
echo "end.."
========================================================================
spool命令示例:
以下保存为SQL脚本,在SQLPlus中运行
set echo off set timing off --关闭返回执行时间
set heading off --设置不显示列名
set feedback off --设置不返回选择数据行数
set linesize 320 --设置每行记录字符长度为320字符(1个汉字两个字符)
set pagesize 24 --设置每页行数24条(默认值24)
set newpage 1 --设置新页前1个空行(默认值1)
set trimspool on --设置删除spool写入文件前时输出的尾随空格(默认值OFF)
set termout off --设置屏幕不捕捉、不显示查询结果集(文本文件执行SQL方生效)
spool F:\exp.tsv --spool设置导出文件的完整的路径(包含文件名);此时文件已存在,打开,文件不存在,创建并打开。在执行spool off命令前,不能对该文件进行修改保存。
SELECT '导出的内容' FROM DUAL; --要导出的数据的查询语句
spool off --关闭文件,完成数据导出
spool命令参数详解
set echo <on|off>set timing <on|off>:
开启/关闭返回执行时间;默认值OFF 设置为ON(开启),目前没有发现对执行速度的影响,可忽略。开启后,执行时间将被写入导出文件最后一行。
set heading <on|off>:
开启/关闭每页显示列名;默认值ON设置为ON(开启),每一页数据都将增加一行列名。开启后,导出文件会增大,降低导出数据的速度(具体增大量与对速度的影响取决于pagesize参数的设置);
set feedback <on|off>:
开启/关闭返回行记录数;默认值ON设置为ON(开启),目前没有发现对执行速度的影响,可忽略。开启后,执行时间将被写入导出文件最后一行(如果开启返回执行时间,在返回执行时间前两行)。
set linesize <整数:1至32767>:
文本文件每行字符长度(1个汉字占2个字符)设置的长过大,将影响导出的速度(未测试),过小(小于某条数据与该行所有分隔符字符总数),该条记录将会被拆分成多行。该参数要根据实际表情况进行设定。
set pagesize <整数:0至50000>:
结果集每页记录数;默认值24设置的越小,文件越大,但对导出大量数据影响不大。因为设置越小,数据相同情况下,空行越多。
set newpage <非负整数>:
新页前空行数;默认值1默认值为1,每一页前存在1个空行。设置为0,每一页的第一行前存在一个换行符号,没有空行。为保持数据整洁,建议使用默认值1。
set colsep ‘<字符>’:
数据列间隔符不建议使用该参数,该参数极度影响导出性能(已测试),且导出的文件在SQL Loader中进行数据导入的失败率相当高(未测试)。设置该参数后,导出文件速度与大小成倍增加,具体视数据量而定。建议使用在数据库查询语句中编辑输出格式。
set trimspool <on|off>:
spool写入文件前时是否将输出的尾随空格删除;默认OFF 假设linesize参数设置为300,而某行数据与该行所有分隔符字符总数为200,则该行尾随空格数为100,设置为ON(开启),可以将此类空格删除,减小导出文件大小,提高文件导出速度。
set termout <on|off>:
屏幕是否显示查询数据;默认值ON
设置OFF(关闭,文本文件执行SQL方生效),在导出大量数据时,可以显著提高导出文件的速度。
spool <[文件路径+]文件名>:
spool设置导出文件的完整的路径(包含文件名);以独占方式打开文件。在文件不存在时,自动创建该文件,并打开;文件存在时,打开该文件。该处打开文件均以独占方式打开,已存在的文件都将被覆盖(原数据将丢失)。
<数据库查询语句>:
要导入文件的数据的查询语句;必须以分号结尾此处为数据库查询语句,避免使用colsep参数,提高导出性能,建议在此处对导出数据做格式转换。如:SELECT t.OWNER || ',' || t.TABLE_NAME FROM DBA_TABLES t;
文本文件执行该语句或该文件,settermout off命令方生效
spool off:
关闭spool语句,即关闭导出的文件结束导出操作,关闭导出文件。