数据库交互模块
liuzh(少昊)
机器学习工程师,python研发工程师
展开
-
mysql中使用update同时更新多个字段,包括select查询
错误尝试:update 表名 set(字段1,字段2,字段3,...) = (select 数值1,数值2,数值3,...) where 条件 正确方式:# 不使用select情况UPDATE OldData o, NewData n SET o.name = n.name, o.address = n.address where n.nid=234 and o.id=123;...原创 2019-10-28 16:00:32 · 94250 阅读 · 5 评论 -
mysql高性能去重方法
问题描述:由于table中的数据量达到千万级别,使用原来的去重机制(详见https://blog.csdn.net/liuzonghao88/article/details/88822039)性能过低解决方案:新建一个t_copy表结构和原始t表具有相同结构:CREATE TABLE t_copy LIKE t;选择不要删除的行插入与原始表具有相同结构的空表:INSERT INTO ...原创 2019-10-16 14:35:35 · 555 阅读 · 0 评论 -
使用pymysql查询数据库,将结果保存为列表并获取指定元素下标
from pymysql import *from qmp.config import *def main(): conn = connect(host=HOST, port=3306, database=DATABASE, user=USER, password=PASSWORD, charset='utf8') cs1 = conn...原创 2019-06-04 10:31:17 · 11472 阅读 · 0 评论 -
python3使用pymysql操作数据库时字符串中含有单双引号(""/'')的问题
操作之前多加一步转化pymysql.escape_string(str)原创 2019-04-23 12:23:32 · 5425 阅读 · 0 评论 -
mysql数据库中删除多条重复(>2)的数据,只保留一条(去重)
之前博客mysql数据库中删除重复的数据只保留一条中介绍的方法适用于有两条重复的数据 然后删除其中一条,保留一条,如果重复的数据较多(>2)时 就需要执行多次,重复的数据有3条 对应执行两次 依次类推,很显然这不是一个好的办法。这篇文章将介绍如何删除数据库中,重复数据较多(>2)的情况如何一次解决,而不是运行好多次首先根据判断重复的字段,分组显示,查询id(下面的例子是按照de...原创 2019-03-26 15:42:09 · 4128 阅读 · 1 评论 -
mysql数据库中删除重复的记录只保留一条
特别提醒:删除数据一定要谨慎表名:dw_invested_company_qmp 两列数据:deal_name, invest_time(除了id)查询出所有重复记录中id最小的一条记录SELECT COUNT(*) as num,deal_name,invest_time,min(id) as id FROM dw_invested_company_qmp GROUP B...原创 2019-02-26 21:35:30 · 2160 阅读 · 0 评论 -
读取mysql数据库中一列,并换行写入到文件中
# coding=gbkfrom pymysql import *def deal(): conn = connect(host='***', port=3306, database='***', user='***', password='***', charset='utf8') cs1 = conn.cursor() cs...原创 2019-01-22 12:03:39 · 984 阅读 · 0 评论 -
根据一个或者多个字段查询mysql数据库中重复的行
以两个字段为例select 字段1, 字段2 from 表名 group by 字段1, 字段2 having count(*) > 1原创 2019-01-07 18:24:34 · 895 阅读 · 0 评论 -
python中使用pymysql往mysql数据库中插入(insert)数据
from pymysql import *def main(): # 创建connection连接 conn = connect(host='', port=3306, database='', user='', password='', charset='utf8') # 获取cursor对象 cs1 = conn.cu...原创 2019-01-07 18:21:45 · 38821 阅读 · 0 评论 -
python中使用pymysql往mysql数据库中更新(update)数据
from pymysql import *def main(): # 创建connection连接 conn = connect(host='', port=3306, database='', user='', password='', charset='utf8') # 获取cursor对象 cs1 = conn.cu...原创 2019-01-07 18:20:19 · 48246 阅读 · 2 评论 -
python查询数据库某一列保存为list
from pymysql import *def demo(): ''' 查询数据库某一列保存为list :return:None ''' conn = connect(host=' ', port=3306, database=' ', user=' ', password=...原创 2019-01-07 10:37:58 · 11400 阅读 · 6 评论 -
读取数据库数据保存为Dataframe(pandas)格式
from sqlalchemy import create_engine# 初始化数据库连接,使用pymysql模块engine = create_engine('mysql+pymysql://用户名:host:3306/数据库名')# 查询语句,选出employee表中的所有数据sql = ''' SELECT 字段 FROM 表名 WHERE 条件 '''...原创 2019-01-10 23:35:32 · 3811 阅读 · 0 评论