mysql操纵csv文件

最新推荐文章于 2022-06-25 18:20:56 发布
最新推荐文章于 2022-06-25 18:20:56 发布
阅读量301 收藏
点赞数
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/a_guai_/article/details/106418207
版权

先下载pymysql插件，然后再编写代码

连接数据库

# encoding=utf-8
import pymysql as db


def get_conn(**kwargs):
    '''获取mysql数据库连接'''
    return db.connect(
        host=kwargs.get('host'),
        user=kwargs.get('user'),
        passwd=kwargs.get('passwd'),
        port=kwargs.get('port',3306),
        db=kwargs.get('db')
    )


def main():
    conn = get_conn(host='127.0.0.1',
        user='root',
        passwd='123456',
        port=3307,
        db='sys')				#哪个库
    cur = conn.cursor()
    cur.execute('select count(1) from sys_config')				#哪个表名
    print(cur.fetchall())
    # print(cur.fetchone())
    # print(cur.fetchmany(2))

    cur.close()
    conn.close()

if __name__ == '__main__':
    main()

创建表

# encoding=utf-8
import pymysql as db


def get_conn(**kwargs):
    '''获取mysql数据库连接'''
    return db.connect(
        host=kwargs.get('host'),
        user=kwargs.get('user'),
        passwd=kwargs.get('passwd'),
        port=kwargs.get('port', 3306),
        db=kwargs.get('db')
    )


def execute_sql(conn, sql):
    '''执行SQL的函数'''
    cur = conn.cursor()
    with conn as cur:
        cur.execute(sql)


def create_table(conn):
    '''创建新表'''
    sql_drop_table = 'drop table if exists userinfo_user'
    sql_create_table = '''create table `userinfo_user`(
    `sno` int(11) not null,
    `sname` varchar(25) default null,
    `sage` int(11) default null,
    primary key (`sno`)) engine=innodb default charset=utf8mb4
    '''
    for sql in [sql_drop_table, sql_create_table]:
        execute_sql(conn, sql)


def insert_data(conn, sno, sname, sage):
    insert_format = "insert into userinfo_user values({0},'{1}',{2})"
    sql = insert_format.format(sno, sname, sage)
    execute_sql(conn,sql)


def main():
    conn = get_conn(host='127.0.0.1',
                    user='root',
                    passwd='123456',
                    port=3307,
                    db='userinfo')
    cur = conn.cursor()
    cur.execute('select * from userinfo_user')
    print(cur.fetchall(),end=' ')
    # print(cur.fetchone())
    # print(cur.fetchmany(2))

    create_table(conn)

    insert_data(conn,100,'张三',18)
    insert_data(conn,101,'李四',19)

    cur.close()
    conn.close()


if __name__ == '__main__':
    main()

((100, '张三', 18), (101, '李四', 19))

查看数据库

在这里插入图片描述

MySQL操作csv文件

查询数据

# encoding=utf-8
import pymysql as db


def get_conn(**kwargs):
    '''获取mysql数据库连接'''
    return db.connect(
        host=kwargs.get('host'),
        user=kwargs.get('user'),
        passwd=kwargs.get('passwd'),
        port=kwargs.get('port', 3306),
        db=kwargs.get('db')
    )


def execute_sql(conn, sql):
    '''执行SQL的函数'''
    cur = conn.cursor()
    with conn as cur:
        cur.execute(sql)


def create_table(conn):
    '''创建新表'''
    sql_drop_table = 'drop table if exists userinfo_user'
    sql_create_table = '''create table `userinfo_user`(
    `sno` int(11) not null,
    `sname` varchar(25) default null,
    `sage` int(11) default null,
    primary key (`sno`)) engine=innodb default charset=utf8mb4
    '''
    for sql in [sql_drop_table, sql_create_table]:
        execute_sql(conn, sql)


def insert_data(conn, sno, sname, sage):
    insert_format = "insert into userinfo_user values({0},'{1}',{2})"
    sql = insert_format.format(sno, sname, sage)
    execute_sql(conn,sql)


def main():
    conn = get_conn(host='127.0.0.1',
                    user='root',
                    passwd='123456',
                    port=3307,
                    db='userinfo')
    try:
        # create_table(conn)
        # insert_data(conn, 100, '张三', 18)
        # insert_data(conn, 101, '李四', 19)

        with conn as cur:
            cur.execute('select * from userinfo_user')
            rows = cur.fetchall()
            for row in rows:
                print(row)
    finally:
        if conn:
            conn.close()


if __name__ == '__main__':
    main()

(100, '张三', 18)
(101, '李四', 19)

# encoding=utf-8
import pymysql as db
from contextlib import contextmanager


@contextmanager
def get_conn(**kwargs):
    '''获取mysql数据库连接'''
    conn = db.connect(
        host=kwargs.get('host'),
        user=kwargs.get('user'),
        passwd=kwargs.get('passwd'),
        port=kwargs.get('port', 3306),
        db=kwargs.get('db'))
    try:
        yield conn
    finally:
        if conn:
            conn.close()


def execute_sql(conn, sql):
    '''执行SQL的函数'''
    # cur = conn.cursor()
    with conn as cur:
        cur.execute(sql)


def create_table(conn):
    '''创建新表'''
    sql_drop_table = 'drop table if exists userinfo_user'
    sql_create_table = '''create table `userinfo_user`(
    `sno` int(11) not null,
    `sname` varchar(25) default null,
    `sage` int(11) default null,
    primary key (`sno`)) engine=innodb default charset=utf8mb4
    '''
    for sql in [sql_drop_table, sql_create_table]:
        execute_sql(conn, sql)


def insert_data(conn, sno, sname, sage):
    insert_format = "insert into student values({0},'{1}',{2})"
    sql = insert_format.format(sno, sname, sage)
    execute_sql(conn, sql)


def main():
    conn_args = dict(host='127.0.0.1',
                     user='root',
                     passwd='123456',
                     port=3307,
                     db='userinfo')

    with get_conn(**conn_args) as conn:
        with conn as cur:
            cur.execute('select * from userinfo_user')
            rows = cur.fetchall()
            for row in rows:
                print(row)


if __name__ == '__main__':
    main()

(100, '张三', 18)
(101, '李四', 19)

CSV

读取CSV文件

写一个stocks.scv文件，里面内容为

Symbol, Price, Date, Time, Change, Volume
'AA', 39.48, '6/11/2007', '9:36am', -0.18, 181800
'AIG', 71.38, '6/11/2007', '9:36am', -0.15, 195500
'AXP', 62.58, '6/11/2007', '9:36am', -0.46, 935000
'BA', 98.31, '6/11/2007', '9:36am', +0.12, 104800
'C', 53.08, '6/11/2007', '9:36am', -0.25, 360900
'CAT', 78.29, '6/11/2007', '9:36am', -0.23, 225400

编写代码

# coding=utf-8
import csv

with open('stocks.csv') as f:
    f_csv = csv.reader(f)
    #取出csv文件头：表头
    headers = next(f_csv)
    #遍历表头意外的行
    for row in f_csv:
        print(row)

["'AA'", ' 39.48', " '6/11/2007'", " '9:36am'", ' -0.18', ' 181800']
["'AIG'", ' 71.38', " '6/11/2007'", " '9:36am'", ' -0.15', ' 195500']
["'AXP'", ' 62.58', " '6/11/2007'", " '9:36am'", ' -0.46', ' 935000']
["'BA'", ' 98.31', " '6/11/2007'", " '9:36am'", ' +0.12', ' 104800']
["'C'", ' 53.08', " '6/11/2007'", " '9:36am'", ' -0.25', ' 360900']
["'CAT'", ' 78.29', " '6/11/2007'", " '9:36am'", ' -0.23', ' 225400']
遍历文件
print(exampleData[5][5])

 360900

# coding=utf-8
import csv
from collections import namedtuple

with open('stocks.csv') as f:
    f_csv = csv.reader(f)
    #取出csv文件头：表头
    headers = next(f_csv)
    #遍历表头意外的行
    Row = namedtuple("Row",'headers')
    for r in f_csv:
        row = Row(r)
        print(row)

Row(headers=["'AA'", ' 39.48', " '6/11/2007'", " '9:36am'", ' -0.18', ' 181800'])
Row(headers=["'AIG'", ' 71.38', " '6/11/2007'", " '9:36am'", ' -0.15', ' 195500'])
Row(headers=["'AXP'", ' 62.58', " '6/11/2007'", " '9:36am'", ' -0.46', ' 935000'])
Row(headers=["'BA'", ' 98.31', " '6/11/2007'", " '9:36am'", ' +0.12', ' 104800'])
Row(headers=["'C'", ' 53.08', " '6/11/2007'", " '9:36am'", ' -0.25', ' 360900'])
Row(headers=["'CAT'", ' 78.29', " '6/11/2007'", " '9:36am'", ' -0.23', ' 225400'])

在for循环中，从Reader对象读取数据

import csv
exampleFile = open('stocks.csv')
exampleReader = csv.reader(exampleFile)
for row in exampleReader:
    print('Row #' + str(exampleReader.line_num) + ' ' + str(row))

Row #1 ['Symbol', ' Price', ' Date', ' Time', ' Change', ' Volume']
Row #2 ["'AA'", ' 39.48', " '6/11/2007'", " '9:36am'", ' -0.18', ' 181800']
Row #3 ["'AIG'", ' 71.38', " '6/11/2007'", " '9:36am'", ' -0.15', ' 195500']
Row #4 ["'AXP'", ' 62.58', " '6/11/2007'", " '9:36am'", ' -0.46', ' 935000']
Row #5 ["'BA'", ' 98.31', " '6/11/2007'", " '9:36am'", ' +0.12', ' 104800']
Row #6 ["'C'", ' 53.08', " '6/11/2007'", " '9:36am'", ' -0.25', ' 360900']
Row #7 ["'CAT'", ' 78.29', " '6/11/2007'", " '9:36am'", ' -0.23', ' 225400']

Writer对象

写入csv文件

import csvoutputFile = open('output.csv','w',newline='')outputWriter = csv.writer(outputFile)outputWriter.writerow(['spam','eggs','bacon','ham'])outputWriter.writerow(['Hello,world','eggs','bacon','ham'])outputWriter.writerow([1,2,3.141592,4])outputFile.close()

会生成新的ooutput.csv文件

spam,eggs,bacon,ham
"Hello,world",eggs,bacon,ham
1,2,3.141592,4

delimiter和lineterminator关键字参数

import csv
csvFile = open('example.csv','w',newline='')
csvWriter = csv.writer(csvFile,delimiter='\t',lineterminator='\n\n')
csvWriter.writerow(['apples','oranges','grapes'])
csvWriter.writerow(['eggs','bacon','ham'])
csvWriter.writerow(['spam','spam','spam','spam','spam','spam'])
csvFile.close()

会生成一个新的example.csv文件

apples	oranges	grapes

eggs	bacon	ham

spam	spam	spam	spam	spam	spam

向MYSQL中写入CSV文件

先新建data.csv文件

Symbol,Price,Date
AA, 39.48, 6/11/2007
AIG, 71.38, 6/11/2007
AXP, 62.58, 6/11/2007
BA, 98.31, 6/11/2007
C, 53.08, 6/11/2007
CAT, 78.29, 6/11/2007

编写代码

# coding=utf-8
import pymysql as db
import csv
from collections import namedtuple
from contextlib import contextmanager


@contextmanager
def get_conn(**kwargs):
    '''获取mysql数据库连接'''
    conn = db.connect(
        host=kwargs.get('host'),
        user=kwargs.get('user'),
        passwd=kwargs.get('passwd'),
        port=kwargs.get('port', 3306),
        db=kwargs.get('db'))
    try:
        yield conn
    finally:
        if conn:
            conn.close()


def get_data(filename):
    '''读取csv文件'''
    with open(filename) as f:
        f_csv = csv.reader(f)
        # 取出csv文件头：表头
        headers = next(f_csv)
        # 遍历表头以外的所有行
        Row = namedtuple("Row", ['Symbol', 'Price', 'Date'])
        for r in f_csv:
            yield Row(*r)


def execute_sql(conn, sql):
    '''执行SQL的函数'''
    with conn as cur:
        cur.execute(sql)


def create_table(conn):
    '''创建新表'''
    sql_drop_table = 'drop table if exists data_csv'
    sql_create_table = '''create table `data_csv`(
    `Symbol` varchar (20) not null,
    `Price` decimal not null,
    `Date` varchar (20)  default null) engine=innodb default charset=utf8mb4
    '''
    for sql in [sql_drop_table, sql_create_table]:
        execute_sql(conn, sql)


def insert_data(conn, symbol, price, date):
    insert_format = "insert into data_csv values('{0}','{1}','{2}')"
    sql = insert_format.format(symbol, price, date)
    execute_sql(conn, sql)


def main():
    conn_args = dict(host='127.0.0.1',
                     user='root',
                     passwd='123456',
                     port=3307,
                     db='userinfo')

    with get_conn(**conn_args) as conn:
        with conn as cur:
            # create_table(conn)
            for t in get_data('data.csv'):
                insert_data(conn, t.Symbol, t.Price, t.Date)


if __name__ == '__main__':
    main()
卢医不自治
关注
[Python从零到壹] 八.数据库之MySQL和Sqlite基础知识及操作万字详解
杨秀璋的专栏
03-03 7826
欢迎大家来到“Python从零到壹”，在这里我将分享约200篇Python系列文章，带大家一起去学习和玩耍，看看Python这个有趣的世界。前一篇文章讲述了Requests库爬取豆瓣电影TOP250，并存储至CSV文件。豆瓣TOP250是非常适合入门的案例，也能普及简单的预处理知识。这篇文章将普及数据库操作知识，这也为后续网络爬虫存储至数据库奠定基础。本文详细介绍MySQL安装、SQL语句和Python操作数据库知识，希望对您有所帮助。
怎样用mysql 处理csv_mysql如何导入csv格式数据
weixin_35180056的博客
01-18 436
MYSQL LOAD DATA INFILE命令可以把csv平面文件中的数据导入到数据库中。linux下：LOAD DATA INFILE '/home/test/dump/ip_location.csv'INTO TABLE ip_locationCHARACTER SET utf8FIELDS TERMINATED BY ',' ENCLOSED BY '"';--CHARACTER SET ...
mysql处理csv文件_Mysql加载本地CSV文件
weixin_39640845的博客
01-19 682
Mysql加载本地CSV文件1.系统环境系统版本：Win10 64位Mysql版本：8.0.15 MySQL Community Server - GPLMysql Workbench版本：Version 8.0.15 build(64bits) Community2.准备工作不管是使用Workbench还是命令行来加载本地数据，都可以先使用Workbench进行数据库、表的创建工作。3.使用W...
MySQL引擎之CSV
weixin_45905671的博客
01-30 71
‘’’ MySQL引擎之CSV 文件系统存储特点 数据以文本方式存储在文件中 .CSV文件存储表内容 .CSM文件存储表的元数据如表状态和数据量 .frm文件存储表结构信息 刷新表： (对新增的数据要执行 flush tables; ) CSV格式进行数据存储特点 1.不支持自增 2.不支持索引 不让创建主键 3.不支持非空片段 使用场景 适合做为数据交换的中间表 ...
mysql导入.csv文件
weixin_30292745的博客
08-05 168
1、sql命令 #第一行.csv文件就是你要导入的文件#第二行就是你要插入的表#第三行表明数据之间以,号分割#第四行表示数据以换行结束 ps：下面的是一条sql语句 1 load data infile '.csv文件' 2 into table `table` 3 fields terminated by ',' 4 lines terminated by '...
python mysql操作csv_python 读取mysql数据至csv文件中，并发送邮件
weixin_39639622的博客
12-14 108
test代码：#coding:utf-8'''Created on 2019年2月18日@author: Administrator'''import ConfigParserimport osimport smtplibfrom email.mime.text import MIMETextfrom email.mime.multipart import MIMEMultipartfrom em...
MySQL-Front安装文件
04-12
安装MySQL-Front非常简单，只需运行压缩包中的"MySQL-Front_Setup.exe"文件即可。安装过程中，通常会提示用户接受许可协议、选择安装路径、配置连接设置等步骤。确保在配置连接设置时，输入正确的MySQL服务器地址、...
Mysql
asd623444055的博客
02-10 699
C/S架构 服务器程序是 mysqld.exe 客户端程序是 mysql.exe cmd>mysql -uroot -p123456 -h127.0.0.1 -P3306 查看服务器中的所有数据库 mysql> show databases; 数据库以目录的形式保存在服务器 安装目录/data目录 创建新的数据库 mysql> create database company; 切换当前工作数据库 mysql> use company; 查看当前数据库中的所有表 mysq
MySQL 5.7 OCP（1Z0-888）题库测试及答案.rar
09-28
- 学习其他存储引擎，如Memory、Archive和CSV的适用场景。 3. **SQL语言**： - 熟练掌握SELECT语句的复杂查询，包括JOIN操作、子查询、聚合函数和窗口函数。 - 学习INSERT、UPDATE和DELETE语句的使用，以及如何...
sqlyog MYSQL 数据库管理工具
09-05
软件简介 ...15、支持输入 / 输出数据为 CSV 文件； 16、可以输出数据库清单为 HTML 文件； 17、为所有操作建立日志； 18、个人收藏管理操作语句； 19、支持语法加亮显示； 20、可以保存记录集为 CSV、H
Python实现将MySQL数据库表中的数据导出生成csv格式文件的方法
09-09
主要介绍了Python实现将MySQL数据库表中的数据导出生成csv格式文件的方法,涉及Python针对mysql数据库的连接、查询、csv格式数据文件的生成等相关操作技巧,需要的朋友可以参考下
CSV数据导入mysql中
jinxi7687的博客
05-03 454
load data local infile 'E:/UserBehavior.csv' into table ub fields terminated by ',';
mysql导出csv文件_mysql实现查询结果导出csv文件及导入csv文件到数据库操作
weixin_29268637的博客
01-18 210
本文实例讲述了mysql实现查询结果导出csv文件及导入csv文件到数据库操作。分享给大家供大家参考，具体如下：mysql 查询结果导出csv文件：select logtime, operatingsystem, imeifrom GameCenterLogswhereoperatingsystem >= 1 and operatingsystem <=3group by operat...
python将csv装入mysql_python 从csv读数据到mysql的实例
weixin_39856589的博客
12-04 101
如下所示：import csvimport sys,osimport MySQLdbdef read_csv(filename):with open(filename) as f:f_csv = csv.reader(f)headers = next(f_csv)#数据格式[1111,22222,1111,1111,.....]#for row in f_csv:# Process row# f...
mysql 打开一个csv_mysql 导入出csv
weixin_39677419的博客
01-19 150
1.进入mysql查看secure_file_prive的值$mysql -u root -pmysql>SHOW VARIABLES LIKE "secure_file_priv";secure_file_prive=null--限制mysqld 不允许导入导出secure_file_priv=/tmp/--限制mysqld的导入导出只能发生在/tmp/目录下secure_file_p...
Python - mysql中导入CSV数据 【学习笔记】
信息学院嵌入式实验室
04-18 1902
Python - mysql中导入CSV数据 【学习笔记】
利用python查询mysql数据库表中数据并生成为csv文件
qq_36791745的博客
06-25 2539
利用python查询mysql数据库表中数据并生成为csv文件
python：csv写入mysql
柒的方向
09-14 667
import pandas as pd import pymysql def company_to_db(data_path, db_params): data = pd.read_csv(data_path, header=None, engine='python') db = pymysql.connect(db_params['host'], db_params['use...
python导出mysql_python 实现从mysql 导出为csv
weixin_39895684的博客
02-03 184
# !/usr/bin/env python# -*- coding: utf-8 -*-import tornado.ioloopimport tornado.webimport mysql.connectorimport timeimport csvimport sysreload(sys)sys.setdefaultencoding('utf-8')filename = "/home/py/...
mysql导入csv文件
最新发布
05-24
要将CSV文件导入MySQL数据库，可以遵循以下步骤： 1. 确认CSV文件的格式符合MySQL的要求。CSV文件应该是以逗号或制表符分隔的文本文件，并且每行应该表示一条记录。 2. 使用MySQL的LOAD DATA INFILE命令将CSV文件...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值