数据同步操作

数据同步操作

1、两个不同数据库之间相同表，进行数据同步操作

-- 需要同步的库和表，清空同步
DELETE FROM TB_TEST

-- 清空最近一天数据进行同步
--ORACLE
DELETE FROM TB_TEST 
WHERE TO_CHAR(CREATE_TIME,'YYYYMMDD')=TO_CHAR(SYSDATE,'YYYYMMDD')
--MYSQL
DELETE FROM TB_TEST 
WHERE DATE_FORMAT(CREATE_TIME,'%Y%m%d')=DATE_FORMAT(NOW(),'%Y%m%d')

2、数据读取

import pandas as pd
import numpy as np
import pymysql
from sqlalchemy import create_engine

#连接oracle数据库 或者连接mysql数据库
O_conn = pymysql.connect(host="127.0.0.1", port=1521, user="test", passwd="1234567", db="o_test", charset='utf8')
O_cur = O_conn.cursor()

#读取数据库中test表数据数据
df = pd.read_sql("SELECT * FROM TEST",conn)

#读取oracle中test表当天数据数据
df_day = pd.read_sql("SELECT * FROM TEST WHERE TO_CHAR(ATIME,'YYYYMMDD')=TO_CHAR(SYSDATE,'YYYYMMDD')",conn)

#读取mysql中test表当天数据数据
df_day_m = pd.read_sql("SELECT * FROM TEST WHERE DATE_FORMAT(CREATE_TIME,'%%Y%%m%%d')=DATE_FORMAT(NOW(),'%%Y%%m%%d'",conn)

3、写入数据

# 1、
#连接mysql数据库
conn = pymysql.connect(host="127.0.0.1", port=3303, user="test", passwd="12345678", db="mysql", charset='utf8')
cur = conn.cursor()

# 写入数据到表
df.to_sql("TEST",con=O_conn,if_exists='append',index= False)

注意：报错信息如下： DatabaseError: Execution failed on sql ‘SELECT name FROM sqlite_master WHERE type=‘table‘ AND name=? 切换第二种方式连接

2、
#连接数据库 
conn = create_engine('mysql+pymysql://root:password@localhost:3306/databasename?charset=utf8')  

df.to_sql(TEST,conn,if_exists='append',index= False)

#if_exists参数对应值：
'''
fail的意思如果表存在，啥也不做
replace的意思，如果表存在，删了表，再建立一个新表，把数据插入
append的意思，如果表存在，把数据插入，如果表不存在创建一个表！！
'''