sql读取数据直接存成pandas、字典

1. sql2Dataframe

导包

import pymysql
import pandas as pd

获取mysql链接

def get_db():
    #打开数据库连接
    db = pymysql.connect(
        host='*.*.*.*',
        port=3306,
        user = "wws",
        passwd = "yourpasswd",
        db = "youdb")
    return db
db = get_db()

写sql 读数据保存

sql = "select `name`,`name_en`,`collage_name`,`description` from `yourdb`;"
#cursor= db.cursor()
sql_data = pd.read_sql_query(sql,db)
df = pd.DataFrame(sql_data, columns=[ 'name','name_en','collage_name','description'])
df

在这里插入图片描述
成了!
or

sql = "select `name`,`name_en`,`collage_name`,`description` from `yourdb`;"
cursor= db.cursor()
cursor.execute(sql)
sql_data = cursor.fetchall()
df = pd.DataFrame(sql_data, columns=[ 'name','name_en','collage_name','description'])
df

2. sql2dict

import pymysql
 
def get_sql_conn():
    """
    获取数据库连接
    """
    conn= pymysql.connect(host="*.*.*.*",user="username",password="password",db="dbname")
    cursor = conn.cursor()
    return conn,cursor
    
def get_index_dict(cursor):
    """
    获取数据库对应表中的字段名
    """
    index_dict=dict()
    index=0
    for desc in cursor.description:
        index_dict[desc[0]]=index
        index=index+1
    return index_dict
    
def get_dict_data_sql(cursor,sql):
    """
    运行sql语句,获取结果,并根据表中字段名,转化成dict格式(默认是tuple格式)
    """
    cursor.execute(sql)
    data=cursor.fetchall()
    index_dict=get_index_dict(cursor)
    res=[]
    for datai in data:
        resi=dict()
        for indexi in index_dict:
            resi[indexi]=datai[index_dict[indexi]]
        res.append(resi)
    return res
 
def main():
    con,cursor = get_sql_conn()
    sql = "SELECT * FROM user WHERE 1=1"
	print(get_dict_data_sql(cursor, sql))
 
if __name__ == '__main__':
    main()
  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
是的,您说的是正确的。 Pandas 提供了多种方法,可以从各种不同的文件格式中读取数据。常见的文件格式包括 CSV、Excel、SQL 数据库等。 具体来说,Pandas 中读取不同文件格式的方法如下: - 读取 CSV 文件:使用 `read_csv` 函数。 - 读取 Excel 文件:使用 `read_excel` 函数。 - 读取 SQL 数据库:使用 `read_sql` 函数。 `read_csv` 函数可以读取逗号分隔的文本文件,并将其转换为 DataFrame 对象。其语法格式如下: ```python df = pd.read_csv(filepath_or_buffer, sep=',', header=0, names=None, index_col=None, dtype=None, encoding=None) ``` 其中,参数的含义为: - `filepath_or_buffer`:要读取的 CSV 文件路径或文件对象。 - `sep`:字段分隔符,默认为逗号 `,`。 - `header`:指定哪一行作为列名,默认为 `0`,即第一行作为列名。如果文件中没有列名,可以将其置为 `None`。 - `names`:自定义列名,如果文件中没有列名,可以通过该参数指定列名。 - `index_col`:指定哪一列作为索引,如果不指定,则默认使用自动生成的整数索引。 - `dtype`:指定每一列的数据类型,可以是 `int`、`float`、`str` 等。 - `encoding`:文件编码格式,默认为 UTF-8。 `read_excel` 函数可以读取 Excel 文件,并将其转换为 DataFrame 对象。其语法格式如下: ```python df = pd.read_excel(io, sheet_name=0, header=0, names=None, index_col=None, dtype=None, engine=None) ``` 其中,参数的含义为: - `io`:要读取的 Excel 文件路径、URL、文件对象或类文件对象。 - `sheet_name`:指定要读取的工作名称或索引,默认为第一个工作。 - `header`:指定哪一行作为列名,默认为 `0`,即第一行作为列名。如果文件中没有列名,可以将其置为 `None`。 - `names`:自定义列名,如果文件中没有列名,可以通过该参数指定列名。 - `index_col`:指定哪一列作为索引,如果不指定,则默认使用自动生成的整数索引。 - `dtype`:指定每一列的数据类型,可以是 `int`、`float`、`str` 等。 - `engine`:指定要使用的解析引擎,可以是 `openpyxl`、`xlrd` 等。 `read_sql` 函数可以从 SQL 数据库中读取数据,并将其转换为 DataFrame 对象。其语法格式如下: ```python df = pd.read_sql(sql, con, index_col=None, coerce_float=True, params=None, parse_dates=None, columns=None) ``` 其中,参数的含义为: - `sql`:要执行的 SQL 查询语句。 - `con`:指定要连接的数据库,可以是 SQLAlchemy 引擎、连接对象或字符串。 - `index_col`:指定哪一列作为索引,如果不指定,则默认使用自动生成的整数索引。 - `coerce_float`:是否将浮点数转换为 Python 中的 float 类型,默认为 True。 - `params`:查询参数,可以是字符串、元组或字典。 - `parse_dates`:指定哪些列需要解析为日期时间类型。 - `columns`:自定义列名,如果文件中没有列名,可以通过该参数指定列名。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值