cvs数据导入工具 oracle_Informatica教程之csv文件导入oracle数据库的方法

由于任务要求,需要将一个csv格式的excel文件导入到oracle数据库,文件比较大,有将近1G的大小,记录数大概是两千多万条。

我分别测试了oracle常用的导入方法:PL/SQL文本导入工具、sqlplus中用sqlldr工具、informatica导入三种方法。

耗时分别如下:PL/SQL文本导入工具是最慢的,两千多万条记录大概要用时10个小时左右;sqlldr工具大概用时1小时,informatica导入用了不到10分钟。informatica工具在数据处理方面的强大不言而喻。当然,我使用sqlldr工具导入是单线程导入的,sqlldr工具也可以将文件分割成若干个小文件,并发多线程同时向数据库加载数据,这样的话耗时应该不到1小时,也是挺不错的。

好了,废话不多说,使用Informatica对csv文件进行入库,我在网上有看到别人介绍的方法,说先把csv格式的文件打开,另存为xls格式,然后在本地系统工具中新建microsoft excel driver的ODBC,最后在informatica中通过ODBC导入文件,我觉得这样的方法不是不可以,关键是很麻烦,1G的文件不能直接打开,只能通过工具来转化成xls格式。本站也有xls方法导入的教程:informatica使用PowerCenter系列工具抽取多页excel入库方法。

csv文件是以纯文本形式存储表格数据的文件格式,它其实跟txt文档没有多大区别,我们在使用Informatica导入的时候,直接可以把它看成一个txt文档,像平常导入txt文档一样直接进行导入就可以了。

不过,还是有一点小细节需要注意:

1、csv文件毕竟是存储的表格数据,所以如果不加设置,你会发现最后导入的结果中,所有的数据都是带双引号的,要把这些引号去掉,设置方法如下:

在source中“Table”选项卡中点击右下角的Advanced,在弹出的窗口中找到Escape Character中输入要去掉的双引号即可。

2、如果你的csv文件内容中是有首行字段名的,那么也需要过滤一下,同样在上面第一点中Advanced弹出的窗口中,将Others中“Number of

initial rows to skip”那里填入“1”,即可。

如果你对于怎样将txt文件导入到数据库也不会,那么对于初学者这里介绍个简单的视频教程,希望对大家有帮助。

课程介绍:          Informatica 9.6 实战课程,将从数据仓库体系架构介绍,服务器搭建配置,实例组件操作,丰富的案例,及项目实战开发过程 来讲述ETL工具Informatica的实际应用,真正完成数据仓库全流程开发应用,ODS层,EDW层,DM层,学完该课程具备ETL软件开发工程师能力水平,能独立完成项目开发工作,从入门到高级项目开发应用,每个实例都载图,课件,教程数据等,能达到中高级ETL开发能力,本课程的学习要求,一定跟着实例动手实战,操作才能掌握实例的开发步骤,及开发注意事项。每个组件都用具体案例讲解,保证学以致用。掌握ETL的开发技能,搭建数据仓库体系架构。应对各环境操作。具体数据实操与应用。 你将收获:ETL软件开发工程师能力与水平数据仓库体系架构案例综合应用实战ETL实战项目开发数据采集与数据处理数据清洗与数据仓库指标统计学会使用Informatica完成项目开发掌握ETL开发流程掌握数据质量管理 适用人群 数据仓库初学者 数据仓库开发工程师 数据库开发工程师 BI开发工程师 数据可视化工程师大数据开发与应用 数据仓库管理 数据管理 数据分析师 业务数据分析 零基础入门ETL ETL大数据处理 数据仓库体系架构图: 课程大纲:01_Informatica9.6课程导学02_数据仓库体系介绍03_Oracle_安装04_Oracle_配置.wmv05_PLSQL工具汉化破解06_Informatica9.6安装.wmv07_Informatica9.6服务器配置.wmv08_客户端的安装配置连接.wmv09_客户端工具介绍10_源数据介绍11_入门实例EMP_0112_入门实例EMP_0213_入门实例DEPT表14_表达式Fx组件实例115_表达式Fx组件实例216_聚合组件实例17_查找Lookup组件实例18_过滤Filter组件实例19_Informatica9.6 排序sort组件实例详解20_Informatica9.6 分发器Router组件实例21_Informatica9.6 sql连接查询复习22_Informatica9.6 连接查询同构SQ23_Informatica9.6 连接查询异构JOIN24_Informatica9.6 等级函数Rank实例25_Informatica9.6 数据合并Union组件实例26_Informatica9.6 存储过程Px组件实例27_1行转列案例sql28_2行转列案例ETL过程29_工资大于该职位下平均工资案例30_增量抽取案例31_缓慢变化维案例32_对文件数据的读取写入33_项目1薪酬统计项目介绍34_Informatica 项目1薪酬统计项目接口入库ODS35_Informatica 项目1薪酬统计项目EDW层明细表临时表1sql36_Informatica 项目1薪酬统计项目EDW层明细表临时表2ETL37_Informatica 项目1薪酬统计EDW层明细表138_Informatica 项目1薪酬统计EDW层明细表239_Informatica 项目1薪酬统计EDW层明细表340_Informatica 项目1薪酬统计DM层月考勤统计报表41_Informatica 项目1开发DM层统计报表142_Informatica 项目1开发DM层统计报表243_Informatica 项目1开发DM层统计报表344_Informatica 项目1开发DM层薪资报表145_Informatica 项目1开发DM层薪资报表246_Informatica 项目1开发DM层薪资报表347_Informatica 项目2计费系统项目介绍48_Informatica 项目2计算系统项目ODS层49_Informatica 项目2计费系统EDW层150_Informatica 项目2计费系统EDW层251_Informatica 项目2计费系统EDW层352_Informatica 项目2计费系统DM层 
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值