pd 写入数据库_Python学习教程：干货实操—手把手教你搭建自己的量化分析数据库...

Python学习教程：手把手教你搭建自己的量化分析数据库

引言：

数据是金融量化分析的重要基础，包括股票历史交易数据、上市公司基本面数据、宏观和行业数据等。随着信息流量的日益膨胀，学会获取、查询和加工数据信息变得越来越重要。对于鼓捣量化交易的人来说，怎么能说不会玩数据库呢？目前常用的开源(免费)数据库有MySQL、Postgresql 、Mongodb 和 SQLite (Python自带)，在2018-2019年DB-Engines 排行榜上位居前十(见下图)，可见其使用量和受欢迎程度较高。这几个数据库各有自己的特点和适用环境，关于该学习哪一个或如何学习网上有很多相关资料。本文主要为大家简单介绍如何使用 Python 操作 Postgresql 数据库(其他数据库类似)，利用 psycopg2 和 sqlalchemy 实现 postgresql 与 pandas 的 dataframe 进行交互，一步步搭建自己的量化分析数据库。

PostgreSQL的安装与使用

安装 PostgreSQL。到其官网选择适合自己电脑配置的版本下载安装即可，安装过程除了设置密码(本文设置为“123456”)，其他可选择全部默认，如实在不会可参考CSDN上的文章：PostgreSQL安装详细步骤(windows)。安装完之后在安装目录里还可以看到pgAdmin4，这个是自带的数据库图形化工具，最新版是Web 应用程序，有点类似 Python 的 Jupyter Notebook，可用来查看和操作postgresql 数据库。

Python上安装psycopg2 和 sqlalchemy 库。psycopg2 是 Python 连接PostgreSQL数据库的接口，sqlalchemy 应用更广泛，可连接数据库(MySQL, SQLite, PostgreSQL)，尤其是对于 pandas 的dataframe型数据，操作起来十分方便。关于这两个 python 库的介绍网上有很多，这里不详细展开，在cmd上使用pip install xxx 进行安装即可。

实例应用

首先，使用 tushare 获取3000多只股票行情数据到本地，使用psycopg2 和 sqlalchemy 为接口，将数据存入本地PostgreSQL数据库中，方便进一步查询和操作。

#先引入后面分析、可视化等可能用到的库import tushare as tsimport pandas as pd import numpy as npimport matplotlib.pyplot as plt#正常显示画图时出现的中文和负号from pylab import mplmpl.rcParams['font.sans-serif']=['SimHei']mpl.rcParams['axes.unicode_minus']=False#设置tokentoken='输入你的token'pro = ts.pro_api(token)

数据获取函数，默认时间可以随时改动。

#如果报错，把tushare升级到最新def get_data(code,start='20190101',end='20190425'): df=ts.pro_bar(ts_code=code, adj='qfq', start_date=start, end_date=end) return df股票代码获取函数，获取最新交易日的代码。#获取当前交易日最新的股票代码和简称def get_code(): codes = pro.stock_basic(list_status='L').ts_code.values return codes

插入PostgreSQL 数据库操作，函数里使用了try...except...pass是为了避免某些数据出错导致程序崩溃。

from sqlalchemy import create_engineimport psycopg2engine = create_engine('postgresql+psycopg2://postgres:123456@localhost:5432/postgres')def insert_sql(data,db_name,if_exists='append'): #使用try...except..continue避免出现错误，运行崩溃 try: data.to_sql(db_name,engine,index=False,if_exists=if_exists) #print(code+'写入数据库成功') except: pass

由于行情数据量庞大，下载比较慢，先下载20190101至20190425期间日交易

数据，后续再不断更新。

#下载20190101-20190425数据并插入数据库stock_data#此步骤比较耗费时间，大致25-35分钟左右for code in get_code(): data=get_data(code) insert_sql(data,'stock_data')#读取整张表数据df=pd.read_sql('stock_data',engine)print(len(df))#输出结果：270998#选取ts_code=000001.SZ的股票数据df=pd.read_sql("select * from stock_data where ts_code='000001.SZ'