oracle 外部表加载txt文件-导入银行信息-ok

已于 2022-07-02 16:25:27 修改
阅读量677 收藏 1
点赞数
分类专栏： oracle 文章标签： oracle
于 2022-07-02 16:21:10 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u013737399/article/details/125574344
版权

0、将windows上文件的格式从UTF-16转为utf-8

[root@Cloud-Server ~]# file 111111.txt
111111.txt: Little-endian UTF-16 Unicode text, with CRLF line terminators
[root@Cloud-Server ~]# 
[root@Cloud-Server ~]# iconv -f utf-16 -t utf-8 111111.txt > 222222.txt
[root@Cloud-Server ~]# 
[root@Cloud-Server ~]# file 222222.txt
222222.txt: UTF-8 Unicode text, with CRLF line terminators
[root@Cloud-Server ~]# 
txt 文件格式如下
[root@Cloud-Server ~]# more /root/222222.txt |head -10
102100014904:中国工商银行股份有限公司北京岳各庄支行
102100002003:中国工商银行股份有限公司北京白云路支行
102100000064:中国工商银行股份有限公司北京樱桃园支行
102100000185:中国工商银行股份有限公司北京菜市口支行
102100009795:中国工商银行股份有限公司北京中航油支行
102100001153:中国工商银行股份有限公司北京城关支行
102100001274:中国工商银行股份有限公司北京燕莎支行
102100002484:中国工商银行股份有限公司北京天宁寺支行
102100022099:中国工商银行股份有限公司北京酒仙桥支行
102100023737:中国工商银行股份有限公司北京科技园东区支行
[root@Cloud-Server ~]# 

1、需要将/root/222222.csv 传到数据库服务器上

cp /root/222222.txt /home/oracle/222222.txt
chown oracle:oinstall /home/oracle/222222.txt

[oracle@Cloud-Server ~]$ more /home/oracle/222222.txt |head -10
102100014904:中国工商银行股份有限公司北京岳各庄支行
102100002003:中国工商银行股份有限公司北京白云路支行
102100000064:中国工商银行股份有限公司北京樱桃园支行
102100000185:中国工商银行股份有限公司北京菜市口支行
102100009795:中国工商银行股份有限公司北京中航油支行
102100001153:中国工商银行股份有限公司北京城关支行
102100001274:中国工商银行股份有限公司北京燕莎支行
102100002484:中国工商银行股份有限公司北京天宁寺支行
102100022099:中国工商银行股份有限公司北京酒仙桥支行
102100023737:中国工商银行股份有限公司北京科技园东区支行
[oracle@Cloud-Server ~]$

2、将远程连接工具的字符集设置为G2312  （好像可以省略,在后期查看数据的时候可能会需要进行设置）

3、设置操作系统的字符集与数据库字符集保持一致

export NLS_LANG=AMERICAN_AMERICA.ZHS16GBK

4、创建表

drop table LG_BANKNO_BNB_20220620 purge ;
create table LG_BANKNO_BNB_20220620(BANKCODE number,BANKNAME varchar2(400)) ;

5、创建目录对象 data_dir

$ mkdir -p /home/oracle/
create or replace directory data_dir as '/home/oracle/';
grant read,write on directory data_dir to public;

6、创建外部表

drop table emp_new purge ;
create table emp_new(
                    BANKCODE number,
                    BANKNAME varchar2(400)
                    )
            organization external
                    (
                    type oracle_loader
                    default directory data_dir
                    access parameters(
                                    records delimited by newline
                                    badfile 'emp_new%a_%p.bad'
                                    logfile 'emp_new%a_%p.log'
                                    fields terminated by ':'
                                    optionally enclosed by '"'
                                    lrtrim missing field values are null
                                    reject rows with all null fields
                                    )
                    location ('222222.txt')
)
parallel 
reject limit unlimited;

说明:即使存在不满足要求的数据，也会在创建外部表的时候能正常创建成功。

7、检查数据

select count(*) from emp_new ;

  COUNT(*)
----------
    126234

set lines 200 pages 200
col BANKCODE for 9999999999999999999
col BANKNAME for a70
select * from emp_new where rownum <=10 ;

            BANKCODE BANKNAME
-------------------- ----------------------------------------------------------------------
        102100014904 中国工商银行股份有限公司北京岳各庄支行
        102100002003 中国工商银行股份有限公司北京白云路支行
        102100000064 中国工商银行股份有限公司北京樱桃园支行
        102100000185 中国工商银行股份有限公司北京菜市口支行
        102100009795 中国工商银行股份有限公司北京中航油支行
        102100001153 中国工商银行股份有限公司北京城关支行
        102100001274 中国工商银行股份有限公司北京燕莎支行
        102100002484 中国工商银行股份有限公司北京天宁寺支行
        102100022099 中国工商银行股份有限公司北京酒仙桥支行
        102100023737 中国工商银行股份有限公司北京科技园东区支行

10 rows selected.

原始文件中总数据量及存在问题的数据行数信息如下：

[oracle@Cloud-Server ~]$ cat /home/oracle/222222.txt  |grep java
java.net.ConnectException: Connection timed out: connect
        at java.net.DualStackPlainSocketImpl.connect0(Native Method)
        at java.net.DualStackPlainSocketImpl.socketConnect(DualStackPlainSocketImpl.java:79)
        at java.net.AbstractPlainSocketImpl.doConnect(AbstractPlainSocketImpl.java:350)
        at java.net.AbstractPlainSocketImpl.connectToAddress(AbstractPlainSocketImpl.java:206)
        at java.net.AbstractPlainSocketImpl.connect(AbstractPlainSocketImpl.java:188)
        at java.net.PlainSocketImpl.connect(PlainSocketImpl.java:172)
        at java.net.SocksSocketImpl.connect(SocksSocketImpl.java:392)
        at java.net.Socket.connect(Socket.java:589)
        at java.net.Socket.connect(Socket.java:538)
        at sun.net.NetworkClient.doConnect(NetworkClient.java:180)
        at sun.net.www.http.HttpClient.openServer(HttpClient.java:463)
        at sun.net.www.http.HttpClient.openServer(HttpClient.java:558)
        at sun.net.www.http.HttpClient.<init>(HttpClient.java:242)
        at sun.net.www.http.HttpClient.New(HttpClient.java:339)
        at sun.net.www.http.HttpClient.New(HttpClient.java:357)
        at sun.net.www.protocol.http.HttpURLConnection.getNewHttpClient(HttpURLConnection.java:1220)
        at sun.net.www.protocol.http.HttpURLConnection.plainConnect0(HttpURLConnection.java:1156)
        at sun.net.www.protocol.http.HttpURLConnection.plainConnect(HttpURLConnection.java:1050)
        at sun.net.www.protocol.http.HttpURLConnection.connect(HttpURLConnection.java:984)
        at com.system.common.util.SHbank.SHNSBankUtil.hiscomm(SHNSBankUtil.java:149)
        at com.system.common.util.SHbank.SHNSBankUtil.getBankList(SHNSBankUtil.java:573)
        at com.system.common.util.SHbank.SHNSBankUtil.download(SHNSBankUtil.java:592)
        at com.system.common.util.SHbank.SHNSBankUtil.main(SHNSBankUtil.java:966)
[oracle@Cloud-Server ~]$ 
[oracle@Cloud-Server ~]$ 
[oracle@Cloud-Server ~]$ cat /home/oracle/222222.txt |wc -l
126258
[oracle@Cloud-Server ~]$ cat /home/oracle/222222.txt  |grep java |wc -l
24
[oracle@Cloud-Server ~]$ 

SQL> select 126258 - 24 from dual ;

 126258-24
----------
    126234


8、检查日志文件，在/home/oracle/目录下

[oracle@Cloud-Server ~]$ 
[oracle@Cloud-Server ~]$ ls -lrt |grep emp_new
-rw-r--r-- 1 oracle oinstall  8668743 Jun 20 21:06 222222.txt
-rw-r--r-- 1 oracle oinstall     1356 Jul  2 14:10 emp_new000_22513.log
-rw-r--r-- 1 oracle oinstall     3996 Jul  2 14:10 emp_new000_20990.log
-rw-r--r-- 1 oracle oinstall     1728 Jul  2 14:10 emp_new000_20990.bad

--查看未导入的数据，一定要在加载完外部文件中所有数据后再检查，否则可能由于没有读取到存在问题的数据而未生产bad文件，导致结果异常。
 

[oracle@Cloud-Server ~]$ more emp_new000_20990.bad
java.net.ConnectException: Connection timed out: connect
        at java.net.DualStackPlainSocketImpl.connect0(Native Method)
        at java.net.DualStackPlainSocketImpl.socketConnect(DualStackPlainSocketImpl.java:79)
        at java.net.AbstractPlainSocketImpl.doConnect(AbstractPlainSocketImpl.java:350)
        at java.net.AbstractPlainSocketImpl.connectToAddress(AbstractPlainSocketImpl.java:206)
        at java.net.AbstractPlainSocketImpl.connect(AbstractPlainSocketImpl.java:188)
        at java.net.PlainSocketImpl.connect(PlainSocketImpl.java:172)
        at java.net.SocksSocketImpl.connect(SocksSocketImpl.java:392)
        at java.net.Socket.connect(Socket.java:589)
        at java.net.Socket.connect(Socket.java:538)
        at sun.net.NetworkClient.doConnect(NetworkClient.java:180)
        at sun.net.www.http.HttpClient.openServer(HttpClient.java:463)
        at sun.net.www.http.HttpClient.openServer(HttpClient.java:558)
        at sun.net.www.http.HttpClient.<init>(HttpClient.java:242)
        at sun.net.www.http.HttpClient.New(HttpClient.java:339)
        at sun.net.www.http.HttpClient.New(HttpClient.java:357)
        at sun.net.www.protocol.http.HttpURLConnection.getNewHttpClient(HttpURLConnection.java:1220)
        at sun.net.www.protocol.http.HttpURLConnection.plainConnect0(HttpURLConnection.java:1156)
        at sun.net.www.protocol.http.HttpURLConnection.plainConnect(HttpURLConnection.java:1050)
        at sun.net.www.protocol.http.HttpURLConnection.connect(HttpURLConnection.java:984)
        at com.system.common.util.SHbank.SHNSBankUtil.hiscomm(SHNSBankUtil.java:149)
        at com.system.common.util.SHbank.SHNSBankUtil.getBankList(SHNSBankUtil.java:573)
        at com.system.common.util.SHbank.SHNSBankUtil.download(SHNSBankUtil.java:592)
        at com.system.common.util.SHbank.SHNSBankUtil.main(SHNSBankUtil.java:966)
[oracle@Cloud-Server ~]$ 
[oracle@Cloud-Server ~]$ more emp_new000_22513.log

 LOG file opened at 07/02/22 14:09:59

KUP-05008:   Warning: Intra source concurrency disabled because the input data is in DELIMITED record format and the characterset is neither fixed width nor UTF8.

Field Definitions for table EMP_NEW
  Record format DELIMITED BY NEWLINE
  Data in file has same endianness as the platform
  Reject rows with all null fields

  Fields in Data Source: 

    BANKCODE                        CHAR (255)
      Terminated by ":"
      Enclosed by """ and """
      Trim whitespace from left and right
    BANKNAME                        CHAR (400)
      Terminated by ":"
      Enclosed by """ and """
      Trim whitespace from left and right


 LOG file opened at 07/02/22 14:10:38

KUP-05008:   Warning: Intra source concurrency disabled because the input data is in DELIMITED record format and the characterset is neither fixed width nor UTF8.

Field Definitions for table EMP_NEW
  Record format DELIMITED BY NEWLINE
  Data in file has same endianness as the platform
  Reject rows with all null fields

  Fields in Data Source: 

    BANKCODE                        CHAR (255)
      Terminated by ":"
      Enclosed by """ and """
      Trim whitespace from left and right
    BANKNAME                        CHAR (400)
      Terminated by ":"
      Enclosed by """ and """
      Trim whitespace from left and right
[oracle@Cloud-Server ~]$ 
[oracle@Cloud-Server ~]$ more emp_new000_20990.log


 LOG file opened at 07/02/22 14:09:59

KUP-05008:   Warning: Intra source concurrency disabled because the input data is in DELIMITED record format and the characterset is neither fixed width nor UTF8.

Field Definitions for table EMP_NEW
  Record format DELIMITED BY NEWLINE
  Data in file has same endianness as the platform
  Reject rows with all null fields

  Fields in Data Source: 

    BANKCODE                        CHAR (255)
      Terminated by ":"
      Enclosed by """ and """
      Trim whitespace from left and right
    BANKNAME                        CHAR (400)
      Terminated by ":"
      Enclosed by """ and """
      Trim whitespace from left and right


 LOG file opened at 07/02/22 14:10:38

KUP-05008:   Warning: Intra source concurrency disabled because the input data is in DELIMITED record format and the characterset is neither fixed width nor UTF8.

Field Definitions for table EMP_NEW
  Record format DELIMITED BY NEWLINE
  Data in file has same endianness as the platform
  Reject rows with all null fields

  Fields in Data Source: 

    BANKCODE                        CHAR (255)
      Terminated by ":"
      Enclosed by """ and """
      Trim whitespace from left and right
    BANKNAME                        CHAR (400)
      Terminated by ":"
      Enclosed by """ and """
      Trim whitespace from left and right
error processing column BANKCODE in row 125778 for datafile /home/oracle/222222.txt
ORA-01722: invalid number
error processing column BANKCODE in row 125779 for datafile /home/oracle/222222.txt
ORA-01722: invalid number
error processing column BANKCODE in row 125780 for datafile /home/oracle/222222.txt
ORA-01722: invalid number
error processing column BANKCODE in row 125781 for datafile /home/oracle/222222.txt
ORA-01722: invalid number
error processing column BANKCODE in row 125782 for datafile /home/oracle/222222.txt
ORA-01722: invalid number
error processing column BANKCODE in row 125783 for datafile /home/oracle/222222.txt
ORA-01722: invalid number
error processing column BANKCODE in row 125784 for datafile /home/oracle/222222.txt
ORA-01722: invalid number
error processing column BANKCODE in row 125785 for datafile /home/oracle/222222.txt
ORA-01722: invalid number
error processing column BANKCODE in row 125786 for datafile /home/oracle/222222.txt
ORA-01722: invalid number
error processing column BANKCODE in row 125787 for datafile /home/oracle/222222.txt
ORA-01722: invalid number
error processing column BANKCODE in row 125788 for datafile /home/oracle/222222.txt
ORA-01722: invalid number
error processing column BANKCODE in row 125789 for datafile /home/oracle/222222.txt
ORA-01722: invalid number
error processing column BANKCODE in row 125790 for datafile /home/oracle/222222.txt
ORA-01722: invalid number
error processing column BANKCODE in row 125791 for datafile /home/oracle/222222.txt
ORA-01722: invalid number
error processing column BANKCODE in row 125792 for datafile /home/oracle/222222.txt
ORA-01722: invalid number
error processing column BANKCODE in row 125793 for datafile /home/oracle/222222.txt
ORA-01722: invalid number
error processing column BANKCODE in row 125794 for datafile /home/oracle/222222.txt
ORA-01722: invalid number
error processing column BANKCODE in row 125795 for datafile /home/oracle/222222.txt
ORA-01722: invalid number
error processing column BANKCODE in row 125796 for datafile /home/oracle/222222.txt
ORA-01722: invalid number
error processing column BANKCODE in row 125797 for datafile /home/oracle/222222.txt
ORA-01722: invalid number
error processing column BANKCODE in row 125798 for datafile /home/oracle/222222.txt
ORA-01722: invalid number
error processing column BANKCODE in row 125799 for datafile /home/oracle/222222.txt
ORA-01722: invalid number
error processing column BANKCODE in row 125800 for datafile /home/oracle/222222.txt
ORA-01722: invalid number
error processing column BANKCODE in row 125801 for datafile /home/oracle/222222.txt
ORA-01722: invalid number
[oracle@Cloud-Server ~]$ 

ksf泡面
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
利用python将txt文件转换为csv
bjwhile的博客
04-05 1万+
利用python将txt文件转换为csv 文章目录利用python将txt文件转换为csv前言实现过程总结 前言 目前深度学习相关的函数库对于大数据的处理基本都是以CSV文件为基础进行的，那么在进行深度学习的处理之前，需要先统一数据文件的格式。 实现过程 在此，我们利用python中的numpy和pandas两个函数库对于txt文件进行格式修改。 首先，我们需要安装所需的函数库，在命令行中找到/python/Script路径用以下指令进行下载。 pip install pandas pip inst
如何利用Oracle外部表导入文本文件的数据
12-15
　Oracle外部表支持两种类型的驱动：一种是ORACLE_LOADER，外部表的数据必须来源于文件文件，另一种则是ORACLE_DATAPUMP，外部表的数据必须是二进制dump文件，该dump文件是先前将Oracle内部表的数据导入到外部表中...
python将txt文件转为csv文件
热门推荐
qq_41081716的博客
11-23 2万+
1.把txt文件转为csv，txt之间是空格隔开，转为csv时需要把空格转换为逗号，网上找的一个版本，只需要三行代码，特别犀利 import numpy as np import pandas as pd data_txt = np.loadtxt('datas_train.txt') data_txtDF = pd.DataFrame(data_txt) data_txtDF.to_csv...
python .txt文件转.csv
Daisy4的博客
04-20 8306
数据处理尝尝需要把数据集从.txt转到.csv格式，可以通过以下代码完成： import numpy as np import pandas as pd import csv out = open('/LF1big.csv','w',newline='') #要转成的.csv文件，先创建一个LF1big.csv文件 csv_writer = csv.writer(out,dialect='excel') f = open("/LF1.txt","r") for line
用Python将TXT以空格分隔转换为CSV
weixin_64338372的博客
01-09 1910
用Python将TXT以空格分隔转换为CSV
Oracle 19c 备份恢复-导入导出
07-10
Oracle 19c 备份恢复-导入导出 Oracle 19c 备份恢复-导入导出是指使用 Oracle 数据库提供的工具 exp 和 imp 实现数据库的备份恢复和数据的导入导出。本文将详细介绍 Oracle 19c 备份恢复-导入导出的基本命令、工作...
oracle数据库导入TXT文件方法介绍
08-29
主要介绍了oracle数据库导入TXT文件方法介绍，文中向大家展示了具体代码示例，需要的朋友可以参考下。
oracle创建表空间、授权、创建用户、导入dmp文件
09-09
主要介绍了oracle创建表空间、授权、创建用户、导入dmp文件,需要的朋友可以参考下
Oracle-错误一览表.doc
11-21
Oracle-错误一览表.doc
python将txt文件转换成csv
fenghoumilin的博客
09-17 5117
直接上代码 # -*- coding: UTF-8 -*- import pandas as pd import configparser import csv from py2neo import Graph, Node, Relationship import urllib3 urllib3.disable_warnings(urllib3.exceptions.InsecureRequest...
(python)txt文件转化为csv文件
weixin_43901260的博客
04-15 1586
import numpy as np import pandas as pd import csv with open(r'D:\Lessondocuments\python\github items\Python-GCNMK-main\Python-GCNMK-main\tedata.csv','w') as f: f_csv=csv.writer(f) for line in open(r'D:\Lessondocuments\python\github items\Python.
python怎么把txt文件转为csv
HJNB_的博客
07-05 1282
实例python txt文件转为csv
python 将txt文件转换成csv文件
weixin_42442319的博客
12-28 5532
今天今天又来了一个冷门脚本！读取txt文件中的数据转换成csv文件。比如下面文件开始有规律分布着需要提取的数据，从第三行开始提取，并且对数据进行处理，最后进行输出。
python将txt文件转换成csv文件
qq_38029916的博客
11-03 4563
使用pandas库读写文件比较方便，建议文件处理相关的使用该库。 #写入csv文件 import pandas as pd from columns_name import list_array #list_array所在文件 def Txt2Csv(Txt_path, Csv_path): ''' :param Txt_path: txt文件路径 :param Csv_path: csv文件路径 :return: ''' with open(Txt.
oracle 外部表装载,加载oracle外部表
weixin_39935092的博客
04-02 150
一、外部表特性：没有表空间的表，不能有约束、索引、DML操作(如UPDATE)，外部表不接受列固定位置，只能列分隔符二、实验1.创建目录对象#mkdir/home/oracle/dir1sql>createdirectorydir1as'/home/oracle/dir1';sql>grandallondirectorydir1tohr;2.需导入的文件#vim...
将txt文件转换为csv文件的几种方法(Python实现)
最新发布
Miss Z的博客
01-26 5139
①使用open()方法Python open()方法用于打开一个文件，并返回文件对象。在对文件进行处理过程都需要使用到这个函数，如果该文件无法被打开，会抛出OSError。open()函数常用形式是接收两个参数：文件名(file)和模式(mode)。②使用with语句使用with语句打开文件有几个重要的好处：自动关闭文件： with语句创建了一个上下文管理器，确保在代码块执行结束时自动关闭文件。这样可以避免忘记手动关闭文件的错误，同时确保及时释放资源。
使用oracle外部表进行数据加载
ciliting2867的博客
10-08 225
最近在使用sql loader进行数据的导入，顺便测试体验了一把oracle外部表的功能,如下：SQL> conn / as sysdba 已连接。 会话已更改。 ...
Oracle 外部表 & sqlldr加载文件，ORA-01722: invalid number
heqiyu34的专栏
10-31 6362
--================= -- Oracle 外部表 --=================       外部表只能在Oracle 9i 之后来使用。简单地说，外部表，是指不存在于数据库中的表。通过向Oracle提供描述外部表的元数据，我们 可以把一个操作系统文件当成一个只读的数据库表，就像这些数据存储在一个普通数据库表中一样来进行访问。外部表是对数据库表的延伸。
Oracle11g表空间4--修改和移动表空间中数据文件
05-14
在Oracle 11g中，可以通过以下步骤修改和移动表空间中的数据文件： 1. 查看表空间中的数据文件： ```sql SELECT file_name, tablespace_name FROM dba_data_files; ``` 2. 修改表空间中的数据文件： ```sql ...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值