文本文件导入到数据库中的几种方法

大型的开发中常常遇到数据源是平面文件(如文本文件)的情况,对于这样的数据源,无法使用数据库对其数据进行有效的管理,另外也无法使用SQL语句对其进行查询和操作,所以当务

之急就是将这些平面文件导入到数据库中,然后就可以对其进行高效的操作了。
下面介绍几种常见的数据导入的方法,希望能够给大家启迪。另外,本文所涉及到的数据库均为
ORACLE数据库,其实对于其他数据库而言,方法类似。

一、Sql*:Loader
该方法是Oracle数据库下数据导入的最重要的方法之一,该工具由Oracle客户端提供,
其基本工作原理是:首先要针对数据源文件制作一个控制文件,控制文件是用来解释如何对源文件进行解析,其中需要包含源文件的数据格式、目标数据库的字段等信息,一个典型的控制文件为如下形式:
LOAD DATA
    INFILE  '/ora9i/fengjie/agent/data/ipaagentdetail200410.txt'    
    TRUNCATE
    INTO TABLE fj_ipa_agentdetail
    fields terminated ","
    trailing nullcols
(  AGENT_NO       char,
  AGENT_NAME     char,
  AGENT_ADDRESS  char,
  AGENT_LINKNUM  char,
  AGENT_LINKMAN  char          
)
数据库

其中,INFILE  '/ora9i/fengj ie/agent/data/ipaagentdetail200410.txt'指明所要导入的源文件,其实源文件也可以直接通过命令
行来输入获得,fj_ipa_agentdetail为目标表的名字,fields terminated ","是指源文件的各个字段是以逗号分隔,trailing nullcols表示遇到空字段依然写入到 表中,最后这5个字段是目标数据库表的字段结构。通过上面这个典型的控制文件的格式分析可知,控制文件需要与源文件的格式信息一致,否则导入数据会出现异常。
除了控制以外,sql*loader的还需要数据文件,即源文件。根据格式的不同,源文件可以分为固定字段长度和有分隔符这两大类,这里将分别说明这两种情况:

 

固定字段长度的文本文件
就是每个字段拥有固定的字段长度,比如:
602530005922        1012
602538023138        1012
602536920355        1012
602531777166        1012
602533626494        1012
602535700601        1012

有分隔符的文本文件
就是每个字段都有相同的分隔符分隔,比如:

1001,上海长途电信综合开发公司,南京东路34号140室
1002,上海桦奇通讯科技有限公司,武宁路19号1902室
1003,上海邦正科技发展有限公司,南京东路61号903室

对于上述两种文件格式sql*loader均可以做处理,下面就前面那个固定长度的文本来举例说明:
由于该文本只有两个字段,一个为设备号,一个是区局编号,两者的长度分别为20和5,那么可以编制控制文件如下:
LOAD DATA
    INFILE  '/ora9i/fengjie/agent/data/ipaagent200410.txt'
    TRUN
CATE
    INTO TABLE fj_ipa_agent
(         DEVNO      POSITION(1:20) CHAR,
          BRANCH_NO    POSITION(21:25) CHAR        
)
其中,'/ora9i/fengjie/agent/data/ipaagent200410.txt'为该文件的完全路径,POSITION(M:N)表示该字段是从位置M到位置N。
对于有分隔符的数据文件,前面已经有一个例子,这里就不再赘述了。总之,使用Sql*Loader能够轻松将数据文件导入到数据库中,这种方法也是最常用的方法.

 二、 使用专业的数据抽取工具
目前在数据仓库领域中,数据抽取与装载(ETL)是一重要的技术,这一技术对于一些大的数据文件或者文件数量较多尤其适合。这里简单介绍目前一款主流的数据抽取工具

――Informati ca
该工具主要采用图形界面进行编程,其主要工作流程是:首先将源数据文件的结构(格式)导入为Informatica里,然后根据业务规则对该结构进行一定的转换(transformation),最终导入到目标表中。
以上过程仅仅只是做了一个从源到目标的映射,数据的实际抽取与装载需要在工作流(workflow)里进行。
使用专业的数据抽取工具,可以结合业务逻辑对多个源数据进行join,union,insect等操作,适合于大型 和数据仓库。 数据库

三、 使用Access工具导入
可以直接在Access里选择‘打开‘文本文件,这样按照向导来导入一个文本文件到Access中,然后使用编程的方法

将其导入到最终的目标数据库中。
这种方法虽然烦琐,但是其对系统的软件配置要求相对较低,所以也是有一定的使用范围。
数据库

四、 小结
总之,平面文件转化为数据库格式有利于数据的处理,显然,数据库强大的数据处理能力比直接进行文件I/O效率高出很多,希望本文能够对该领域做一个抛砖引玉的作用。

数据库
  • 0
    点赞
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
当将Excel表格导入到SQL Server数据库时,如果操作状态返回值为4,表示出现了数据库文本截断的问题。 在Excel导入到SQL Server的过程,可能会发生数据类型不匹配的情况。例如,在Excel某一列的数据为文本格式,而对应的SQL Server表这一列的数据类型为整数。当导入时,如果Excel的某一行数据在这一列的值超过了整数的取值范围,就会导致文本截断错误。 解决办法有以下几种: 1. 数据准备:在将Excel导入到SQL Server之前,确保Excel表格的数据和SQL Server表的数据类型匹配。可以在SQL Server创建表时,将对应列的数据类型设置为最大允许的长度,或者将Excel的对应列的数据格式设置为跟SQL Server表一致。 2. 数据转换:如果出现了数据库文本截断的情况,可以尝试通过数据转换的方式解决。可以在导入过程,将超过长度的文本截断或者将整数数据转换为浮点数。可以使用SQL Server的转换函数,如CONVERT或CAST来实现数据类型转换。 3. 检查错误行:如果在导入时发生了数据库文本截断错误,通过查看错误报告或记录的错误信息,可以得到具体出错的行数。可以将出错的行数据进行调整或者修改,然后重新导入。 4. 使用导入工具:除了直接使用SQL Server的导入功能,还可以尝试使用其他的导入工具,如SSIS(SQL Server Integration Services),它提供了更多的数据转换和处理功能,可以更好地处理数据类型不匹配的情况。 总结来说,通过数据准备、数据转换、检查错误行和使用导入工具方法,可以解决excel导入SQL Server操作状态返回值4数据库文本截断的问题。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值