如何自动备份数据库重要信息(python实现)

已于 2023-06-18 11:03:55 修改
阅读量315 收藏
点赞数
分类专栏： SQL Python 文章标签： oracle 数据库 python
于 2023-06-18 11:00:39 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_46156257/article/details/131269011
版权
Python 同时被 2 个专栏收录
21 篇文章 1 订阅
订阅专栏
SQL
11 篇文章 0 订阅
订阅专栏

1. 主程序

# Oracle重要信息备份，假设schema名称为USERNAME,要备份的信息为USERNAME,USERNAME2(部分)
# 填写任务和作者名字
_taskname = "Oracle_backup"
_owner = "JOGARY"
from pandas import DataFrame
# from sqlalchemy import create_engine
from cx_Oracle import connect
from datetime import datetime
from os import path,mkdir

starttime = datetime.now()
# 定义一个数据表读取函数
def load_data(sql):
    db=connect('username','password','10.10.10.11:1521/orcl')
    cr=db.cursor()
    cr.execute(sql)
    rs = cr.fetchall()
    # 获取lob字段
    for i in range(len(rs)):
        rs[i] = list(rs[i])
        try:
            for j in range(len(rs[i])):
                rs[i][j] = rs[i][j].read()
        except:
            continue
    cols = [k[0] for k in cr.description]
    zz = DataFrame(rs, columns=cols)
    cr.close()
    db.close()
    return zz
try:
    file_count = 0
    comment = ''
    datetimekey = datetime.now().strftime('%Y%m%d')
    paths = 'E:/1.数据备份/'+datetimekey
#    paths = './'+datetimekey
    if(path.exists(paths)==False):
        mkdir(paths)
        comment += '{}文件夹已创建;'.format(datetimekey)
    # os.path.exists(path)


    # 获取所有建表语句
    # print('开始备份数据：')
    all_tabs = load_data("select 'select dbms_metadata.get_ddl(''TABLE'','''||table_name||''') sql_text from dual' TEXT from user_tables")
    text = ' union all '.join(all_tabs['TEXT'])
    data = load_data(text)
    with open (paths+'/all_create_tables.sql','w') as f:
        f.write('\n\n'.join(data.iloc[:,0]))
    comment += '建表语句备份成功;'
    # print('所有建表语句备份成功。')
    file_count += 1

    # 获取所有建视图语句
    all_views = load_data("select 'select dbms_metadata.get_ddl(''VIEW'','''||view_name||''') sql_text from dual' TEXT from user_views")
    text = ' union all '.join(all_views['TEXT'])
    data = load_data(text)
    with open (paths+'/all_create_views.sql','w') as f:
        f.write('\n\n'.join(data.iloc[:,0]))
    comment += '建视图语句备份成功;'
    # print('所有建视图语句备份成功。')
    file_count += 1

    # 获取所存储过程和函数
    data = load_data("SELECT * FROM ALL_SOURCE WHERE OWNER IN ('USERNAME','USERNAME2')")
    try:data.to_csv(paths+'/all_sources.csv',encoding='gbk')
    except:data.to_csv(paths+'/all_sources.csv')
    # print('所有存储过程和函数备份成功。')
    comment += '存储过程和函数备份成功;'
    file_count += 1

    # 获取所有建存储过程和函数语句
    all_sources = data[(data['LINE']==1) & (data['OWNER']=='USERNAME')].copy()
    all_sources['TEXT'] = "select dbms_metadata.get_ddl('"+all_sources['TYPE']+"','"+all_sources['NAME']+"') SQL_TEXT FROM DUAL"
    text = ' union all '.join(all_sources['TEXT'])
    data = load_data(text)
    with open (paths+'/all_create_sources.sql','w',encoding='utf-8') as f:
        f.write('\n\n'.join(data.iloc[:,0]))
    comment += '建存储过程和函数语句备份成功;'
    # print('所有建存储过程和函数语句备份成功。')
    file_count += 1

    # 获取所有表和视图列
    data = load_data("SELECT * FROM all_tab_cols WHERE OWNER IN ('USERNAME','USERNAME2')")
    try:data.to_csv(paths+'/all_tables.csv',encoding='gbk')
    except:data.to_csv(paths+'/all_tables.csv')
    # print('所有表和视图列备份成功。')
    comment += '表和视图列备份成功;'
    file_count += 1

    # 获取所有索引列表
    data = load_data("SELECT * FROM ALL_INDEXES WHERE OWNER IN ('USERNAME','USERNAME2')")
    try:data.to_csv(paths+'/all_indexes.csv',encoding='gbk')
    except:data.to_csv(paths+'/all_indexes.csv')
    # print('所有索引备份成功。')
    comment += '索引备份成功;'
    file_count += 1

    # 获取所有建索引语句
    all_indexes = data[data['OWNER']=='USERNAME'].copy()
    all_indexes['TEXT'] = "select dbms_metadata.get_ddl('INDEX','"+all_indexes['INDEX_NAME']+"') SQL_TEXT FROM DUAL"
    text = ' union all '.join(all_indexes['TEXT'])
    data = load_data(text)
    with open (paths+'/all_create_indexes.sql','w') as f:
        f.write('\n\n'.join(data.iloc[:,0]))
    comment += '建索引语句备份成功;'
    # print('所有建索引语句备份成功。')
    file_count += 1

    # 获取所有索引列
    data = load_data("SELECT * FROM ALL_IND_COLUMNS WHERE INDEX_OWNER IN ('USERNAME','USERNAME2')")
    try:data.to_csv(paths+'/all_index_columns.csv',encoding='gbk')
    except:data.to_csv(paths+'/all_index_columns.csv')
    comment += '索引列备份成功;'
    # print('所有索引列备份成功。')
    file_count += 1

    # 获取所有comments
    data = load_data("""SELECT OWNER,TABLE_NAME,TABLE_TYPE,NULL COLUMN_NAME,COMMENTS,ORIGIN_CON_ID FROM ALL_TAB_COMMENTS WHERE OWNER IN ('USERNAME','USERNAME2') 
    UNION ALL 
    SELECT OWNER,TABLE_NAME,'COLUMN' TABLE_TYPE,COLUMN_NAME,COMMENTS,ORIGIN_CON_ID  FROM ALL_COL_COMMENTS WHERE OWNER IN ('USERNAME','USERNAME2')
    """)
    try:data.to_csv(paths+'/all_comments.csv',encoding='gbk')
    except:data.to_csv(paths+'/all_comments.csv')
    comment += 'comments备份成功;'
    # print('所有comments备份成功。')
    file_count += 1

    # 获取是所有jobs
    data = load_data("""select TO_NUMBER(SUBSTR(JOB_NAME,11,10)) JOB_ID,
    JOB_CREATOR,OWNER,JOB_ACTION,
    TO_CHAR(START_DATE,'YYYY-MM-DD HH24:MI:SS') START_DATE,REPEAT_INTERVAL,ENABLED,STATE,RUN_COUNT,FAILURE_COUNT,
    TO_CHAR(LAST_START_DATE,'YYYY-MM-DD HH24:MI:SS') LAST_START_DATE,LAST_RUN_DURATION,
    TO_CHAR(NEXT_RUN_DATE,'YYYY-MM-DD HH24:MI:SS') NEXT_RUN_DATE
    from dba_scheduler_jobs t
    where JOB_NAME like 'DBMS_JOB%'
    ORDER BY JOB_ID 
    """)
    try:data.to_csv(paths+'/all_jobs.csv',encoding='gbk')
    except:data.to_csv(paths+'/all_jobs.csv')
    # print('所有jobs备份成功。')
    comment += 'jobs备份成功;'
    file_count += 1
    comment = "备份成功,已备份{}个文件:".format(file_count) + comment
    # print('备份完成。')
except Exception as ex:
    comment = "备份失败,错误类型:{};已备份{}个文件:".format(ex,file_count) + comment

#---------------------以下内容通常无需改动----------------------
#当前文件路径
from sys import argv
import socket
s = socket.socket(socket.AF_INET, socket.SOCK_DGRAM)
s.connect(("8.8.8.8", 80))
file_path = "{}->{}".format(s.getsockname()[0],argv[0])
#写入日志表
db = connect('username','password','10.10.10.11:1521/orcl')
cr = db.cursor()
endtime = datetime.now()
cr.execute('''INSERT INTO ETL_LOG_PYTHON(TASK_NAME,START_TIME,END_TIME,TASK_TIME,OWNER,COMMENTS,TASK_PATH) 
VALUES(:1,:1,:1,:1,:1,:1,:1)
''',[_taskname,starttime,endtime,(endtime-starttime).seconds,_owner,comment,file_path])
db.commit()
cr.close()
db.close()

2. 自动化配置

程序测试OK后，要实现自动化，还需要一些配置：

1. 需将程序打包成exe文件，方法参考：Python打包exe文件(如何打包成较小文件)_jogarys的博客-CSDN博客

2. Windows系统中配置自动任务(最好找个服务器配置，否则个人电脑关闭后就不能运行了)，路径如下：

控制面板→系统和安全→管理工具→计划任务

点击右侧创建基本任务，选择1中打包好的exe文件，设置好运行频率即可

3. 结果测试

运行成功后，运行日志如下：

TASK_NAMESTART_TIMEEND_TIMETASK_TIMEOWNER                        COMMENTS                       INTERFACE_TIMETASK_PATH
Oracle_backup2023-06-18 10:45:592023-06-18 10:47:0262JOGARY备份成功,已备份10个文件:20230618文件夹已创建;建表语句备份成功;建视图语句备份成功;存储过程和函数备份成功;建存储过程和函数语句备份成功;表和视图列备份成功;索引备份成功;建索引语句备份成功;索引列备份成功;comments备份成功;jobs备份成功;2023-06-18 10:46:4110.10.10.11->E:\backup\Oracle_backup.exe

备份好的文件如下：

jogarys
关注
专栏目录
python自动备份数据库_Python脚本自动备份Mysql数据库
weixin_42120275的博客
01-14 649
Python脚本自动备份Mysql数据库，此脚本会备份所有数据库，并按库名创建文件夹保存，只保留最近7天的备份数据。可自定义修改。支持Python2,、Python3。需要先安装PyMySQL# 安装下必要库yum -y install gcc gcc-c++ make zlib* openssl openssl-devel openssl-static -yyum install python-...
Python实现定时备份mysql数据库并把备份数据库邮件发送
12-23
一、先来看备份mysql数据库的命令 mysqldump -u root --password=root --database abcDataBase >...备份数据库  ''' import os import time import sched import smtplib from email.mime.text import MIMEText fro
python备份mysql数据库
02-12
介绍使用python结合mysqldump对mysql数据库进行备份
python备份数据库
weixin_34360651的博客
08-19 109
    最近好久没写代码了，上班时间老是在忙些琐碎的事情，今天给大家介绍个很简单的脚本，用python来给我们的mysql做个数据库备份吧，下面直接看代码了，这个脚本是第一版的，嘿嘿，十分粗浅，先看看吧：   1: #!/usr/bin/env python 2: import time 3: import os 4: password='root' ...
使用 Python 自动备份 SQL 数据库
Python84310366的博客
07-28 766
使用Python实现SQL数据库自动备份是省时、降低错误风险、确保数据安全的好方法。按照本文提供的步骤，您可以轻松实现SQL数据库备份的自动化，并按计划进行定期备份。请记得经常测试备份以确保其正常工作，并且在需要恢复数据时可靠可用。
Python_python数据库备份
weixin_30840573的博客
03-09 472
import os,datetimeclass BakDb(object): def __init__(self,ip,username,passwd,port=3306,path='/tmp/db_bak'): self.ip = ip self.username = username self.passwd = passwd self.po...
python自动备份mysql数据库，并删除七天前文件
09-27
本示例涉及的主题是使用Python来自动备份MySQL数据库，并且定期清理过期的备份文件，以保持存储空间的有效利用。下面将详细介绍这个过程以及相关的知识点。 首先，我们需要了解Python在数据库操作中的角色。Python...
Python实现备份MySQL数据库的方法示例
09-09
总之，通过Python实现MySQL数据库的备份，可以自动化和简化数据库维护工作，提高数据安全性。以上代码提供了一个基本的框架，可以根据实际需求进行调整和优化，比如添加日志记录、错误处理、定时任务等功能。
Python脚本实现自动将数据库备份到 Dropbox
09-21
在本文中，我们将探讨如何使用Python脚本来实现自动备份MySQL数据库并将其安全地存储到Dropbox云存储服务上。这个过程对于任何依赖数据库的系统来说都是至关重要的，因为数据丢失可能导致严重后果，正如GitLab事件所...
Python--备份数据库
weixin_34194317的博客
03-07 137
# mysqldump -uroot -p123456 -A > nhy123.sqlimport osimport datetimeclass BakDb(object): def __init__(self, ip, username, password, port=3306, path='/tmp/db_bak'): self.ip = ip self...
Python备份数据
金色%夕阳的博客
04-17 188
方法一： def copy_file(name,dest): f1=open(name,'rb') f2=open(dest,'wb') f2.write(f1.read()) if __name__ == '__main__': copy_file("C:\\Users\\dell\\aa.txt","C:\\Users\\dell\\c.txt") 方法二： def copy_file(name,dest): f=open(name,'rb') f2=open(dest,'wb') #
一个好用的Python备份mysql的脚本
weixin_30420305的博客
09-25 147
前几天打算用Python写一个mysql脚本，上Google看了下老外写的，写的挺好的，原地址在http://tecadmin.net/python-script-for-mysql-database-backup/#，所以就给 copy过来了 1 #!/usr/bin/python 2 #################################################...
Python实现数据库备份与恢复（定时&手动）
weixin_49291148的博客
04-25 4363
作用：Python定时备份数据库与恢复 优化：日志输出更详细，触发异常的error信息定位更具体 新增：添加了恢复数据的功能
Python定时备份数据库（支持整库、单库、多库备份、邮件通知、定时删除旧备份）
weixin_49291148的博客
05-20 1723
在平时的运维过程中，备份数据库这一项是我们必不可少的一个工作，这个事情好比是一把双刃剑，运用好了，会给工作和项目上带来很大效益；反之，如果没有一个好的备份方案，那这将会是一个无底洞 需求由来：公司内，备份数据库的方式可谓是多种多样，每一种备份方式都带有每一个人对它的理解。如果这些备份方案需要给各个项目中的同事去使用，难免会发生使用上的问题，通用性不强。领导后来选择了一位同事的方案（shell脚本+crontab+mailx）来集成了一个定时备份后并发送邮件通知。不久，因为好多同事对Linux的服务配置和s
用Python备份MYSQL 数据库
熊
12-04 307
用Python备份MYSQL 数据库 https://www.pythontab.com/html/2013/pythonhexinbiancheng_0318/304.html
数据库表数据备份，python脚本
qq_24487005的博客
03-03 902
数据库表数据备份，python脚本
python 备份数据库脚本
最新发布
我就是我是好孩子的博客
06-13 391
【代码】python 备份数据库脚本。
Python调用命令行实现MySQL数据库备份与恢复
"本文介绍如何使用Python代码调用命令行工具执行MySQL数据库的备份与恢复操作，包括必要的安全措施和代码实现。" 在数据库管理中，定期备份是保证数据安全的重要环节，而恢复操作则是在数据丢失或系统故障时恢复...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值