python oracle转mysql_python将oracle中的数据导入到mysql中。

一.导入表结构。使用工具:navicate premium 和PowerDesinger

1. 先用navicate premium把oracle中的数据库导出为oracle脚本。

2. 在PowerDesinger里找到 File -->> Reverse Engineer --->> Database 将数据库导入到模型。

3  在.PowerDesinger里找到Database”--->“Change Current DBMS” 将数据库由oracle转换为mysql

4. 在PowerDesinger里 按快捷键ctrl+G导出mysql的sql文件

5  用navicate premium 将脚本文件导入到mysql中。

(如果要导入的是oracle的dmp文件,请参阅 https://my.oschina.net/dolphinboy/blog/739248)

二.导入数据。 使用工具python 2.7 cx_Oracle  mysql-python

在本例中oracle字符集为gbk, mysql字符集为 utf-8 在导入过程中进行了字符集转换。

导入程序代码如下:

#encoding:utf-8

importsysimportMySQLdbimportmysqlHelperimportcx_OracleimportoracleHelper

reload(sys)

sys.setdefaultencoding("utf-8")defmig_database():

sql="select table_name from user_tables"oraHelper=oracleHelper.OracleHelper()

rows=oraHelper.queryAll(sql)for row inrows:print row["TABLE_NAME"]

mig_table(row["TABLE_NAME"])defmig_table(table_name):

file_object= open(‘log.txt‘,‘a+‘)print "开始迁移"+table_name+"......"file_object.write("开始迁移"+table_name+"......\n")

myhelper=mysqlHelper.MySQLHelper()

oraHelper=oracleHelper.OracleHelper()

myhelper.selectDb("nap")

myhelper.query("delete from"+table_name)

rows=oraHelper.queryAll("select * from"+table_name)

n=0try:for row inrows:

dict=convertDict(row)

myhelper.selectDb("nap")

myhelper.insert(table_name,dict)

n=n+1myhelper.commit()print table_name+"迁移完毕,共导入%d条数据。" %n

file_object.write(table_name+"迁移完毕,共导入%d条数据。\n" %n)exceptMySQLdb.Error as e:print table_name+"迁移失败,程序异常!"file_object.write("table_name"+"迁移失败,程序异常!\n" %n)printe

file_object.close()defconvertDict(row):

dict={}for k inrow.keys():#if isinstance(row[k],basestring):

if isinstance(row[k],str) orisinstance(row[k],unicode):

dict[k]=unicode2utf8(gbk2unicode(row[k]))#dict[k]=row[k]

else:

dict[k]=row[k]returndictdefgbk2unicode(s):return s.decode(‘gbk‘, ‘ignore‘)defunicode2utf8(s):return s.encode(‘utf-8‘)if __name__ == ‘__main__‘:

mig_database()

#encoding:utf-8

importMySQLdbfrom datetime import *

classMySQLHelper:#def __init__(self,host,user,password,charset="utf8"):

def __init__(self):

self.host=‘localhost‘self.user=‘root‘self.password=‘123456‘self.charset=‘utf8‘

try:

self.conn=MySQLdb.connect(host=self.host,user=self.user,passwd=self.password)

self.conn.set_character_set(self.charset)

self.cur=self.conn.cursor()exceptMySQLdb.Error as e:print("Mysql Error %d: %s" % (e.args[0], e.args[1]))defselectDb(self,db):try:

self.conn.select_db(db)exceptMySQLdb.Error as e:print("Mysql Error %d: %s" % (e.args[0], e.args[1]))defquery(self,sql):try:

n=self.cur.execute(sql)returnnexceptMySQLdb.Error as e:print("Mysql Error:%s\nSQL:%s" %(e,sql))raiseedefqueryRow(self,sql):

self.query(sql)

result=self.cur.fetchone()returnresultdefqueryAll(self,sql):

self.query(sql)

result=self.cur.fetchall()

desc=self.cur.description

d=[]for inv inresult:

_d={}for i inrange(0,len(inv)):

_d[desc[i][0]]=str(inv[i])

d.append(_d)returnddefinsert(self,p_table_name,p_data):for key inp_data:if (isinstance(p_data[key],str) orisinstance(p_data[key],datetime) ):if str(p_data[key])=="None":

p_data[key]=‘null‘

else:

p_data[key]= "‘"+str(p_data[key]).replace(‘%‘,‘%‘).replace(‘\‘‘,‘‘)+"‘"

else:

p_data[key]=str(p_data[key])

key=‘`‘+ ‘`,`‘.join(p_data.keys())+‘`‘value= ‘,‘.join(p_data.values())

real_sql= "INSERT INTO" + p_table_name + "(" + key + ") VALUES (" + value + ")"

returnself.query(real_sql)defgetLastInsertId(self):returnself.cur.lastrowiddefrowcount(self):returnself.cur.rowcountdefcommit(self):

self.conn.commit()defclose(self):

self.cur.close()

self.conn.close()

#encoding:utf-8

importcx_Oraclefrom datetime import *

classOracleHelper:def __init__(self):

self.charset=‘utf8‘

try:

self.conn= cx_Oracle.connect(‘scott/tiger@DESKTOP-IASSOVJ/orcl‘)

self.cur=self.conn.cursor()exceptcx_Oracle.Error as e:print("Mysql Error %d: %s" % (e.args[0], e.args[1]))defselectDb(self,db):try:

self.conn.select_db(db)exceptcx_Oracle.Error as e:print("Mysql Error %d: %s" % (e.args[0], e.args[1]))defquery(self,sql):try:

n=self.cur.execute(sql)returnnexceptcx_Oracle.Error as e:print("Mysql Error:%s\nSQL:%s" %(e,sql))raiseedefqueryRow(self,sql):

self.query(sql)

result=self.cur.fetchone()returnresultdefqueryAll(self,sql):

self.query(sql)

result=self.cur.fetchall()

desc=self.cur.description

d=[]for inv inresult:

_d={}for i inrange(0,len(inv)):

_d[desc[i][0]]=str(inv[i])

d.append(_d)returnddefinsert(self,p_table_name,p_data):for key inp_data:if (isinstance(p_data[key],str) orisinstance(p_data[key],datetime) ):if str(p_data[key])=="None":

p_data[key]=‘null‘

else:

p_data[key]= "‘"+str(p_data[key]).replace(‘%‘,‘%‘).replace(‘\‘‘,‘‘)+"‘"

else:

p_data[key]=str(p_data[key])

key= ‘,‘.join(p_data.keys())

value= ‘,‘.join(p_data.values())

real_sql= "INSERT INTO" + p_table_name + "(" + key + ") VALUES (" + value + ")"

returnself.query(real_sql)defgetLastInsertId(self):returnself.cur.lastrowiddefrowcount(self):returnself.cur.rowcountdefcommit(self):

self.conn.commit()defclose(self):

self.cur.close()

self.conn.close()

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
1、脚本运行环境python3.6 2、脚本忽略LOB字段数据 3、脚本生成以^为分割符的csv格式文件 4、脚本避免义字符将‘\’替换为‘/’,数据存在分割符:^换为# 5、特殊字符处理:删除:'\u0000','"',oracle数据回车符:'\r','\n' 6、支持按分区导入 7、支持内存处理数据导入greenplum,导入失败生成csv格式文件,方便排错 8、支持生成csv格式文件导入greenplum。 9、传递不同配置文件,多次执行达到并行处理(注意内存溢出) 例: 执行脚本 生成日志目录 配置文件 python3 Main_Mem.py ProcessLog1 config1.ini & python3 Main_Mem.py ProcessLog2 config2.ini & python3 Main_Mem.py ProcessLog3 config3.ini & python3 Main_Mem.py ProcessLog4 config4.ini & 10、采用python 的copy_from方法实现导入greenplum 11、各目录用途: conf :存放配置文件 etl_dat: 存放导出数据 log :存放输出日志 py_tool 存放编写工具脚本: DBconn: 数据库连接池配置及查询返回方法 DumpCsv:导出csv文件方法 Log:日志输出方法 DataBase:判断表是否存在、表或分区表是否有数据、是否为分区表、数据导出、表分区遍历、指定分区表导出等方法 py_main:主程序目录: Main_Mem.py:主程序目录: 运行:python3 Main_Mem.py ProcessLog1 config.ini 12、主程序需要修改目录参数: if __name__ == '__main__': #引用编写的包 sys.path.append('/home/oracle/PyETL2.0/py_tool') import Log,DataBase,DumpCsv #输出日志路径: path = '/home/oracle/PyETL2.0/log/'+sys.argv[1] isExists = os.path.exists(path) if not isExists: os.makedirs(path) #shutil.move(path,path+) logger = Log.log(path) #读取配置文件 config = Confile('/home/oracle/PyETL2.0/conf/', sys.argv[2]) 13、后期还会更新,欢迎提供宝贵意见。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值