Python批量删除mysql中千万级大量数据

最新推荐文章于 2024-04-26 22:49:14 发布
最新推荐文章于 2024-04-26 22:49:14 发布
阅读量2.7k 收藏
点赞数
分类专栏： # Python 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/ddxygq/article/details/100526545
版权
大数据 同时被 2 个专栏收录
38 篇文章 11 订阅 ¥29.90 ¥99.00
订阅专栏
Python
26 篇文章 2 订阅 ¥19.90 ¥99.00
订阅专栏 超级会员免费看

场景描述

线上mysql数据库里面有张表保存有每天的统计结果，每天有1千多万条，这是我们意想不到的，统计结果咋有这么多。运维找过来，磁盘占了200G，最后问了运营，可以只保留最近3天的，前面的数据，只能删了。删，怎么删？
因为这是线上数据库，里面存放有很多其它数据表，如果直接删除这张表的数据，肯定不行，可能会对其它表有影响。尝试每次只删除一天的数据，还是卡顿的厉害，没办法，写个Python脚本批量删除吧。
具体思路是：

  1. 每次只删除一天的数据；
  2. 删除一天的数据，每次删除50000条；
  3. 一天的数据删除完，开始删除下一天的数据；

Python代码

# -*-coding:utf-8 -*-

import sys

# 这是我们内部封装的Python Module
sys.path.append('/var/lib/hadoop-hdfs/scripts/python_module2'
了解本专栏 订阅专栏 解锁全文
大数据技术派
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
订阅专栏
Python 操作 pymysql 批量 增、删、改、查
墨鱼菜鸡
07-11 2830
github：https://github.com/PyMySQL/PyMySQL Python3 MySQL 数据库连接 - PyMySQL 驱动：https://www.runoob.com/python3/python3-mysql.html pymysql 是线程安全的( 搜索 thread，可以看到 thread_safe=1，同时函数 t...
python批量插入数据到mysql
qq_35224503的博客
04-24 4626
python大批量插入mysql
Python操作Mysql——使用python批量对数据进行增删改查
代码海中一粒米
07-27 2234
如果对于sqlalchemy框架不会使用，可以看——Python操作MySql——使用SQLAlchemy ORM操作数据库 1 使用sqlalchemy 框架，连接数据库 from random import random from sqlalchemy import create_engine from sqlalchemy.ext.declarative import declarative_base from sqlalchemy import Column, Integer, String
6.9 用Python操控数据库（批量删除，百度新闻数据爬取与存储，写入数据时进行去重处理，pandas读取sql数据）
Triumph19的博客
04-12 5848
学习完MySQL数据库的基本操作后，下面来学习如何用Python连接数据库，并进行数据的插入、查找、删除等操作。 6.9.1 用PyMySQL库操控数据库 上一节在phpMyAdmin 中创建了数据库“pachong”，并在其中创建了数据表"test"，那么该如何在Python中连接该数据库，并调用其中的数据表呢？ 首先安装用于操控MySQL的python第三方库PyMySQL,安装命令为"pip install pymysql"。 1.连接数据库 首先来学习如何连接之前创建的数据库“pacho.
python批量删除文件
最新发布
lijil168的专栏
04-26 494
在excite TD 仿真结果文件夹中，，在导出前进行批量删除。
Python 操作 mysql：增、删、改、查，DBUtils(数据库连接池)、SQLAlchemy、Flask-SQLAlchemy
freeking101的博客
08-02 6534
Python 操作 mysql：增、删、改、查，DBUtils(数据库连接池)、SQLAlchemy、Flask-SQLAlchemy
python mysql批量删除_Python批量删除mysql中千万级大量数据
weixin_42511507的博客
01-26 458
场景描述线上数据库里面有张表保存有每天的统计结果，每天有1千多万条，这是我们意想不到的，统计结果咋有这么多。运维找过来，磁盘占了200G，最后问了运营，可以只保留最近3天的，前面的数据，只能删了。删，怎么删？因为这是线上数据库，里面存放有很多其它数据表，如果直接删除这张表的数据，肯定不行，可能会对其它表有影响。尝试每次只删除一天的数据，还是卡顿的厉害，没办法，写个Python脚本批量删除吧。具体思...
Python MySQL-删除表数据
cunfen6312的博客
07-28 4668
In this tutorial, we will learn how to DELETE MySQL table data in Python where we will be using the DELETE SQL query and the WHERE clause. 在本教程中，我们将学习如何在Python中使用DELETE SQL查询和WHERE子句来删除MySQL表数据 。 Th...
python批量数据处理脚本——批量删除文件
weixin_45354497的博客
11-05 3374
python批量删除文件方法
mysql 批量删除_1.3.7 python操作Mysql数据库
weixin_39751327的博客
11-27 430
PyMySql介绍 PyMySQL 是在 Python3.x 版本中用于连接 MySQL 服务器的一个第三方库，Python2中则使用mysqldb。PyMySql安装可以通过pip直接安装也可以通过pycharm的settings中进行安装；pip install pymysqlPyMySql处理数据库增删改查说明：以下代码都是python3.8版本，表结构是id、name、a...
(二)python实战——使用pymysql完成mysql数据库的增、删、查、改操作案例
厉害哥哥的博客
06-26 1491
本节内容是关于python环境中使用pymysql实现mysql数据库的操作，这里我们以app这个表为本节内容的操作表，完成python环境下，对mysql数据库的表的增删查改操作。在开始本节内容之前，我们首先要安装好我们的python环境以及数据库环境。
Python-Python3操作mysql数据库实现增批量增删改查
08-10
PyMySQL 是在 Python3.x 版本中用于连接 MySQL 服务器的一个库，Python2中则使用mysqldb。 PyMySQL 遵循 Python 数据库 API v2.0 规范，并包含了 pure-Python MySQL 客户端库。
Python批量删除mysql中千万级大量数据的脚本分享
01-21
场景描述 线上mysql数据库里面有张表保存有每天的统计结果，每天有1千多万条，这是我们意想不到的，统计结果咋有这么多。运维找过来，磁盘占了200G，最后问了运营，可以只保留最近3天的，前面的数据，只能删了。删，怎么删？ 因为这是线上数据库，里面存放有很多其它数据表，如果直接删除这张表的数据，肯定不行，可能会对其它表有影响。尝试每次只删除一天的数据，还是卡顿的厉害，没办法，写个Python脚本批量删除吧。 具体思路是： 每次只删除一天的数据； 删除一天的数据，每次删除50000条； 一天的数据删除完，开始删除下一天的数据； Python代码 # -*-coding:utf-8 -
Python MySQL删除
PY洋洋
02-02 2796
删除记录 防止 SQL 注入
python实现MySQL数据库数据的查询、添加、修改、删除
热门推荐
qq_25327943的博客
06-07 1万+
简单介绍python如何与mysql数据实现通信以及python对数据库数据的增加、删除、查询、修改的操作方法。
python mysql批量删除_Python批量删除mysql中千万级大量数据的脚本分享
weixin_33308579的博客
01-28 330
场景描述线上mysql数据库里面有张表保存有每天的统计结果，每天有1千多万条，这是我们意想不到的，统计结果咋有这么多。运维找过来，磁盘占了200G，最后问了运营，可以只保留最近3天的，前面的数据，只能删了。删，怎么删？因为这是线上数据库，里面存放有很多其它数据表，如果直接删除这张表的数据，肯定不行，可能会对其它表有影响。尝试每次只删除一天的数据，还是卡顿的厉害，没办法，写个Python脚本批量删除...
python mysql批量删除_GitHub - FreedomHBW/pymsql_Operation: Python3操作mysql数据库，实现增、批量增、删、改、查...
weixin_36252784的博客
02-09 171
Python3 MySQL 数据库操作什么是 PyMySQL？PyMySQL 是在 Python3.x 版本中用于连接 MySQL 服务器的一个库，Python2中则使用mysqldb。PyMySQL 遵循 Python 数据库 API v2.0 规范，并包含了 pure-Python MySQL 客户端库。PyMySQL 安装在使用 PyMySQL 之前，我们需要确保 PyMySQL 已安装。P...
python的mysql数据库的删除操作
实践求真知
11-22 1万+
一 代码 import pymysql # 打开数据库连接 db = pymysql.connect("localhost","root","root","db_test01" ) # 使用cursor()方法获取操作游标 cursor = db.cursor() # SQL 删除语句 sql = "DELETE FROM EMPLOYEE WHERE AGE > '%d'" %
python如何删除mysql数据表中记录
06-07
可以使用 Python 中的 MySQLdb 模块来删除 MySQL 数据库表中的记录。具体操作步骤如下： 1. 首先导入 MySQLdb 模块： ```python import MySQLdb ``` 2. 连接 MySQL 数据库： ```python db = MySQLdb.connect(host="localhost", user="root", passwd="password", db="database_name") ``` 3. 创建游标对象： ```python cursor = db.cursor() ``` 4. 执行 SQL 删除语句： ```python sql = "DELETE FROM table_name WHERE condition" cursor.execute(sql) ``` 其中，table_name 表示要删除记录的表名，condition 表示删除记录的条件。 5. 提交事务： ```python db.commit() ``` 6. 关闭游标和数据库连接： ```python cursor.close() db.close() ``` 完整的 Python 代码示例： ```python import MySQLdb # 连接 MySQL 数据库 db = MySQLdb.connect(host="localhost", user="root", passwd="password", db="database_name") # 创建游标对象 cursor = db.cursor() # 执行 SQL 删除语句 sql = "DELETE FROM table_name WHERE condition" cursor.execute(sql) # 提交事务 db.commit() # 关闭游标和数据库连接 cursor.close() db.close() ``` 需要根据实际情况替换相应的参数，如数据库主机名、用户名、密码、数据库名、表名和删除条件等。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

大数据技术派

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值