使用JQDATA获取数据并本地化（Mysql储存）

最新推荐文章于 2022-05-22 22:22:23 发布
最新推荐文章于 2022-05-22 22:22:23 发布
阅读量667 收藏 6
点赞数
原文链接：https://www.joinquant.com/view/community/detail/21024
版权

本示例主要股票信息，日线行情信息与市值数据信息的本地化
日线行情信息进行了分表，将res按股票代码切分为5个res分别存入5张表中
首先创建Mysql数据

--创建数据库 jqdata
CREATE SCHEMA `jqdata` COMMENT CHARACTER SET utf8mb4 ;

--创建用户 jqdata
CREATE USER 'jqdata'@'%' IDENTIFIED BY 'jqdata';

grant all privileges on jqdata.* to 'jqdata'@'%' IDENTIFIED BY 'jqdata'

flush privileges;

--股票信息表
CREATE TABLE `jqdata`.`t_all_securities` (
  `security` VARCHAR(20) NOT NULL COMMENT '股票代码',
  `display_name` VARCHAR(20) NULL COMMENT '中文名称',
  `name` VARCHAR(50) NULL COMMENT '缩写简称',
  `start_date` DATE NULL COMMENT '上市日期',
  `end_date` DATE NULL COMMENT '退市日期，如果没有退市则为2200-01-01',
  PRIMARY KEY (`security`))
COMMENT = '所有股票信息';


--日线行情数据：
--分表规则：股票代码模5取余x
--表名 t_kline_day_x
--索引 股票代码，日期
CREATE TABLE `jqdata`.`t_kline_day_0` (
  `security` VARCHAR(20) NOT NULL COMMENT '股票代码',
  `kday` DATE NOT NULL COMMENT '日期',
  `open` DECIMAL(10,2) NULL COMMENT '时间段开始时价格',
  `close` DECIMAL(10,2) NULL COMMENT '时间段结束时价格',
  `low` DECIMAL(10,2) NULL COMMENT '最低价',
  `high` DECIMAL(10,2) NULL COMMENT '最高价',
  `volume` BIGINT NULL COMMENT '成交的股票数量',
  `money` DECIMAL(20,2) NULL COMMENT '成交的金额',
  `factor` DECIMAL(15,8) NULL COMMENT '前复权因子, 我们提供的价格都是前复权后的, 但是利用这个值可以算出原始价格, 方法是价格除以factor, 比如: close/factor',
  `high_limit` DECIMAL(10,2) NULL COMMENT '涨停价',
  `low_limit` DECIMAL(10,2) NULL COMMENT '跌停价',
  `avg` DECIMAL(10,2) NULL COMMENT '这段时间的平均价, 等于money/volume',
  `pre_close` DECIMAL(10,2) NULL COMMENT '前一个单位时间结束时的价格, 按天则是前一天的收盘价, 按分钟这是前一分钟的结束价格',
  `paused` TINYINT NULL COMMENT '布尔值, 这只股票是否停牌, 停牌时open/close/low/high/pre_close依然有值,都等于停牌前的收盘价, volume=money=0',
  PRIMARY KEY (`security`, `kday`))
COMMENT = '日线行情数据——股票代码模5余0';

CREATE TABLE `jqdata`.`t_kline_day_1` (
  `security` VARCHAR(20) NOT NULL COMMENT '股票代码',
  `kday` DATE NOT NULL COMMENT '日期',
  `open` DECIMAL(10,2) NULL COMMENT '时间段开始时价格',
  `close` DECIMAL(10,2) NULL COMMENT '时间段结束时价格',
  `low` DECIMAL(10,2) NULL COMMENT '最低价',
  `high` DECIMAL(10,2) NULL COMMENT '最高价',
  `volume` BIGINT NULL COMMENT '成交的股票数量',
  `money` DECIMAL(20,2) NULL COMMENT '成交的金额',
  `factor` DECIMAL(15,8) NULL COMMENT '前复权因子, 我们提供的价格都是前复权后的, 但是利用这个值可以算出原始价格, 方法是价格除以factor, 比如: close/factor',
  `high_limit` DECIMAL(10,2) NULL COMMENT '涨停价',
  `low_limit` DECIMAL(10,2) NULL COMMENT '跌停价',
  `avg` DECIMAL(10,2) NULL COMMENT '这段时间的平均价, 等于money/volume',
  `pre_close` DECIMAL(10,2) NULL COMMENT '前一个单位时间结束时的价格, 按天则是前一天的收盘价, 按分钟这是前一分钟的结束价格',
  `paused` TINYINT NULL COMMENT '布尔值, 这只股票是否停牌, 停牌时open/close/low/high/pre_close依然有值,都等于停牌前的收盘价, volume=money=0',
  PRIMARY KEY (`security`, `kday`))
COMMENT = '日线行情数据——股票代码模5余1';

CREATE TABLE `jqdata`.`t_kline_day_2` (
  `security` VARCHAR(20) NOT NULL COMMENT '股票代码',
  `kday` DATE NOT NULL COMMENT '日期',
  `open` DECIMAL(10,2) NULL COMMENT '时间段开始时价格',
  `close` DECIMAL(10,2) NULL COMMENT '时间段结束时价格',
  `low` DECIMAL(10,2) NULL COMMENT '最低价',
  `high` DECIMAL(10,2) NULL COMMENT '最高价',
  `volume` BIGINT NULL COMMENT '成交的股票数量',
  `money` DECIMAL(20,2) NULL COMMENT '成交的金额',
  `factor` DECIMAL(15,8) NULL COMMENT '前复权因子, 我们提供的价格都是前复权后的, 但是利用这个值可以算出原始价格, 方法是价格除以factor, 比如: close/factor',
  `high_limit` DECIMAL(10,2) NULL COMMENT '涨停价',
  `low_limit` DECIMAL(10,2) NULL COMMENT '跌停价',
  `avg` DECIMAL(10,2) NULL COMMENT '这段时间的平均价, 等于money/volume',
  `pre_close` DECIMAL(10,2) NULL COMMENT '前一个单位时间结束时的价格, 按天则是前一天的收盘价, 按分钟这是前一分钟的结束价格',
  `paused` TINYINT NULL COMMENT '布尔值, 这只股票是否停牌, 停牌时open/close/low/high/pre_close依然有值,都等于停牌前的收盘价, volume=money=0',
  PRIMARY KEY (`security`, `kday`))
COMMENT = '日线行情数据——股票代码模5余2';

CREATE TABLE `jqdata`.`t_kline_day_3` (
  `security` VARCHAR(20) NOT NULL COMMENT '股票代码',
  `kday` DATE NOT NULL COMMENT '日期',
  `open` DECIMAL(10,2) NULL COMMENT '时间段开始时价格',
  `close` DECIMAL(10,2) NULL COMMENT '时间段结束时价格',
  `low` DECIMAL(10,2) NULL COMMENT '最低价',
  `high` DECIMAL(10,2) NULL COMMENT '最高价',
  `volume` BIGINT NULL COMMENT '成交的股票数量',
  `money` DECIMAL(20,2) NULL COMMENT '成交的金额',
  `factor` DECIMAL(15,8) NULL COMMENT '前复权因子, 我们提供的价格都是前复权后的, 但是利用这个值可以算出原始价格, 方法是价格除以factor, 比如: close/factor',
  `high_limit` DECIMAL(10,2) NULL COMMENT '涨停价',
  `low_limit` DECIMAL(10,2) NULL COMMENT '跌停价',
  `avg` DECIMAL(10,2) NULL COMMENT '这段时间的平均价, 等于money/volume',
  `pre_close` DECIMAL(10,2) NULL COMMENT '前一个单位时间结束时的价格, 按天则是前一天的收盘价, 按分钟这是前一分钟的结束价格',
  `paused` TINYINT NULL COMMENT '布尔值, 这只股票是否停牌, 停牌时open/close/low/high/pre_close依然有值,都等于停牌前的收盘价, volume=money=0',
  PRIMARY KEY (`security`, `kday`))
COMMENT = '日线行情数据——股票代码模5余3';

CREATE TABLE `jqdata`.`t_kline_day_4` (
  `security` VARCHAR(20) NOT NULL COMMENT '股票代码',
  `kday` DATE NOT NULL COMMENT '日期',
  `open` DECIMAL(10,2) NULL COMMENT '时间段开始时价格',
  `close` DECIMAL(10,2) NULL COMMENT '时间段结束时价格',
  `low` DECIMAL(10,2) NULL COMMENT '最低价',
  `high` DECIMAL(10,2) NULL COMMENT '最高价',
  `volume` BIGINT NULL COMMENT '成交的股票数量',
  `money` DECIMAL(20,2) NULL COMMENT '成交的金额',
  `factor` DECIMAL(15,8) NULL COMMENT '前复权因子, 我们提供的价格都是前复权后的, 但是利用这个值可以算出原始价格, 方法是价格除以factor, 比如: close/factor',
  `high_limit` DECIMAL(10,2) NULL COMMENT '涨停价',
  `low_limit` DECIMAL(10,2) NULL COMMENT '跌停价',
  `avg` DECIMAL(10,2) NULL COMMENT '这段时间的平均价, 等于money/volume',
  `pre_close` DECIMAL(10,2) NULL COMMENT '前一个单位时间结束时的价格, 按天则是前一天的收盘价, 按分钟这是前一分钟的结束价格',
  `paused` TINYINT NULL COMMENT '布尔值, 这只股票是否停牌, 停牌时open/close/low/high/pre_close依然有值,都等于停牌前的收盘价, volume=money=0',
  PRIMARY KEY (`security`, `kday`))
COMMENT = '日线行情数据——股票代码模5余4';


CREATE TABLE `jqdata`.`t_valuation_0` (
  `code` VARCHAR(20) NOT NULL COMMENT '股票代码  带后缀.XSHE/.XSHG',
  `day` DATE NOT NULL COMMENT '取数据的日期',
  `capitalization` DECIMAL(20,4) NULL COMMENT '总股本(万股)     公司已发行的普通股股份总数(包含A股，B股和H股的总股本)',
  `circulating_cap` DECIMAL(20,4) NULL COMMENT '流通股本(万股)     公司已发行的境内上市流通、以人民币兑换的股份总数(A股市场的流通股本)',
  `market_cap` DECIMAL(20,10) NULL COMMENT '总市值(亿元)     A股收盘价*已发行股票总股本（A股+B股+H股）',
  `circulating_market_cap` DECIMAL(20,10) NULL COMMENT '流通市值(亿元)     流通市值指在某特定时间内当时可交易的流通股股数乘以当时股价得出的流通股票总价值。     A股市场的收盘价*A股市场的流通股数',
  `turnover_ratio` DECIMAL(10,4) NULL COMMENT '换手率(%)     指在一定时间内市场中股票转手买卖的频率，是反映股票流通性强弱的指标之一。     换手率=[指定交易日成交量(手)100/截至该日股票的自由流通股本(股)]100%',
  `pe_ratio` DECIMAL(15,4) NULL COMMENT '市盈率(PE, TTM)     每股市价为每股收益的倍数，反映投资人对每元净利润所愿支付的价格，用来估计股票的投资报酬和风险     市盈率（PE，TTM）=（股票在指定交易日期的收盘价 * 当日人民币外汇挂牌价 * 截止当日公司总股本）/归属于母公司股东的净利润TTM。',
  `pe_ratio_lyr` DECIMAL(15,4) NULL COMMENT '以上一年度每股盈利计算的静态市盈率. 股价/最近年度报告EPS     市盈率（PE）=（股票在指定交易日期的收盘价 * 当日人民币外汇牌价 * 截至当日公司总股本）/归属母公司股东的净利润。',
  `pb_ratio` DECIMAL(15,4) NULL COMMENT '市净率(PB)     每股股价与每股净资产的比率     市净率=（股票在指定交易日期的收盘价 * 当日人民币外汇牌价 * 截至当日公司总股本）/归属母公司股东的权益。',
  `ps_ratio` DECIMAL(15,4) NULL COMMENT '市销率(PS, TTM)     市销率为股票价格与每股销售收入之比，市销率越小，通常被认为投资价值越高。     市销率TTM=（股票在指定交易日期的收盘价 * 当日人民币外汇牌价 * 截至当日公司总股本）/营业总收入TTM',
  `pcf_ratio` DECIMAL(15,4) NULL COMMENT '市现率(PCF, 现金净流量TTM)     每股市价为每股现金净流量的倍数     市现率=（股票在指定交易日期的收盘价 * 当日人民币外汇牌价 * 截至当日公司总股本）/现金及现金等价物净增加额TTM',
  PRIMARY KEY (`code`, `day`))
COMMENT = '市值数据-股票代码模5余0';

CREATE TABLE `jqdata`.`t_valuation_1` (
  `code` VARCHAR(20) NOT NULL COMMENT '股票代码  带后缀.XSHE/.XSHG',
  `day` DATE NOT NULL COMMENT '取数据的日期',
  `capitalization` DECIMAL(20,4) NULL COMMENT '总股本(万股)     公司已发行的普通股股份总数(包含A股，B股和H股的总股本)',
  `circulating_cap` DECIMAL(20,4) NULL COMMENT '流通股本(万股)     公司已发行的境内上市流通、以人民币兑换的股份总数(A股市场的流通股本)',
  `market_cap` DECIMAL(20,10) NULL COMMENT '总市值(亿元)     A股收盘价*已发行股票总股本（A股+B股+H股）',
  `circulating_market_cap` DECIMAL(20,10) NULL COMMENT '流通市值(亿元)     流通市值指在某特定时间内当时可交易的流通股股数乘以当时股价得出的流通股票总价值。     A股市场的收盘价*A股市场的流通股数',
  `turnover_ratio` DECIMAL(10,4) NULL COMMENT '换手率(%)     指在一定时间内市场中股票转手买卖的频率，是反映股票流通性强弱的指标之一。     换手率=[指定交易日成交量(手)100/截至该日股票的自由流通股本(股)]100%',
  `pe_ratio` DECIMAL(15,4) NULL COMMENT '市盈率(PE, TTM)     每股市价为每股收益的倍数，反映投资人对每元净利润所愿支付的价格，用来估计股票的投资报酬和风险     市盈率（PE，TTM）=（股票在指定交易日期的收盘价 * 当日人民币外汇挂牌价 * 截止当日公司总股本）/归属于母公司股东的净利润TTM。',
  `pe_ratio_lyr` DECIMAL(15,4) NULL COMMENT '以上一年度每股盈利计算的静态市盈率. 股价/最近年度报告EPS     市盈率（PE）=（股票在指定交易日期的收盘价 * 当日人民币外汇牌价 * 截至当日公司总股本）/归属母公司股东的净利润。',
  `pb_ratio` DECIMAL(15,4) NULL COMMENT '市净率(PB)     每股股价与每股净资产的比率     市净率=（股票在指定交易日期的收盘价 * 当日人民币外汇牌价 * 截至当日公司总股本）/归属母公司股东的权益。',
  `ps_ratio` DECIMAL(15,4) NULL COMMENT '市销率(PS, TTM)     市销率为股票价格与每股销售收入之比，市销率越小，通常被认为投资价值越高。     市销率TTM=（股票在指定交易日期的收盘价 * 当日人民币外汇牌价 * 截至当日公司总股本）/营业总收入TTM',
  `pcf_ratio` DECIMAL(15,4) NULL COMMENT '市现率(PCF, 现金净流量TTM)     每股市价为每股现金净流量的倍数     市现率=（股票在指定交易日期的收盘价 * 当日人民币外汇牌价 * 截至当日公司总股本）/现金及现金等价物净增加额TTM',
  PRIMARY KEY (`code`, `day`))
COMMENT = '市值数据-股票代码模5余1';

CREATE TABLE `jqdata`.`t_valuation_2` (
  `code` VARCHAR(20) NOT NULL COMMENT '股票代码  带后缀.XSHE/.XSHG',
  `day` DATE NOT NULL COMMENT '取数据的日期',
  `capitalization` DECIMAL(20,4) NULL COMMENT '总股本(万股)     公司已发行的普通股股份总数(包含A股，B股和H股的总股本)',
  `circulating_cap` DECIMAL(20,4) NULL COMMENT '流通股本(万股)     公司已发行的境内上市流通、以人民币兑换的股份总数(A股市场的流通股本)',
  `market_cap` DECIMAL(20,10) NULL COMMENT '总市值(亿元)     A股收盘价*已发行股票总股本（A股+B股+H股）',
  `circulating_market_cap` DECIMAL(20,10) NULL COMMENT '流通市值(亿元)     流通市值指在某特定时间内当时可交易的流通股股数乘以当时股价得出的流通股票总价值。     A股市场的收盘价*A股市场的流通股数',
  `turnover_ratio` DECIMAL(10,4) NULL COMMENT '换手率(%)     指在一定时间内市场中股票转手买卖的频率，是反映股票流通性强弱的指标之一。     换手率=[指定交易日成交量(手)100/截至该日股票的自由流通股本(股)]100%',
  `pe_ratio` DECIMAL(15,4) NULL COMMENT '市盈率(PE, TTM)     每股市价为每股收益的倍数，反映投资人对每元净利润所愿支付的价格，用来估计股票的投资报酬和风险     市盈率（PE，TTM）=（股票在指定交易日期的收盘价 * 当日人民币外汇挂牌价 * 截止当日公司总股本）/归属于母公司股东的净利润TTM。',
  `pe_ratio_lyr` DECIMAL(15,4) NULL COMMENT '以上一年度每股盈利计算的静态市盈率. 股价/最近年度报告EPS     市盈率（PE）=（股票在指定交易日期的收盘价 * 当日人民币外汇牌价 * 截至当日公司总股本）/归属母公司股东的净利润。',
  `pb_ratio` DECIMAL(15,4) NULL COMMENT '市净率(PB)     每股股价与每股净资产的比率     市净率=（股票在指定交易日期的收盘价 * 当日人民币外汇牌价 * 截至当日公司总股本）/归属母公司股东的权益。',
  `ps_ratio` DECIMAL(15,4) NULL COMMENT '市销率(PS, TTM)     市销率为股票价格与每股销售收入之比，市销率越小，通常被认为投资价值越高。     市销率TTM=（股票在指定交易日期的收盘价 * 当日人民币外汇牌价 * 截至当日公司总股本）/营业总收入TTM',
  `pcf_ratio` DECIMAL(15,4) NULL COMMENT '市现率(PCF, 现金净流量TTM)     每股市价为每股现金净流量的倍数     市现率=（股票在指定交易日期的收盘价 * 当日人民币外汇牌价 * 截至当日公司总股本）/现金及现金等价物净增加额TTM',
  PRIMARY KEY (`code`, `day`))
COMMENT = '市值数据-股票代码模5余2';

CREATE TABLE `jqdata`.`t_valuation_3` (
  `code` VARCHAR(20) NOT NULL COMMENT '股票代码  带后缀.XSHE/.XSHG',
  `day` DATE NOT NULL COMMENT '取数据的日期',
  `capitalization` DECIMAL(20,4) NULL COMMENT '总股本(万股)     公司已发行的普通股股份总数(包含A股，B股和H股的总股本)',
  `circulating_cap` DECIMAL(20,4) NULL COMMENT '流通股本(万股)     公司已发行的境内上市流通、以人民币兑换的股份总数(A股市场的流通股本)',
  `market_cap` DECIMAL(20,10) NULL COMMENT '总市值(亿元)     A股收盘价*已发行股票总股本（A股+B股+H股）',
  `circulating_market_cap` DECIMAL(20,10) NULL COMMENT '流通市值(亿元)     流通市值指在某特定时间内当时可交易的流通股股数乘以当时股价得出的流通股票总价值。     A股市场的收盘价*A股市场的流通股数',
  `turnover_ratio` DECIMAL(10,4) NULL COMMENT '换手率(%)     指在一定时间内市场中股票转手买卖的频率，是反映股票流通性强弱的指标之一。     换手率=[指定交易日成交量(手)100/截至该日股票的自由流通股本(股)]100%',
  `pe_ratio` DECIMAL(15,4) NULL COMMENT '市盈率(PE, TTM)     每股市价为每股收益的倍数，反映投资人对每元净利润所愿支付的价格，用来估计股票的投资报酬和风险     市盈率（PE，TTM）=（股票在指定交易日期的收盘价 * 当日人民币外汇挂牌价 * 截止当日公司总股本）/归属于母公司股东的净利润TTM。',
  `pe_ratio_lyr` DECIMAL(15,4) NULL COMMENT '以上一年度每股盈利计算的静态市盈率. 股价/最近年度报告EPS     市盈率（PE）=（股票在指定交易日期的收盘价 * 当日人民币外汇牌价 * 截至当日公司总股本）/归属母公司股东的净利润。',
  `pb_ratio` DECIMAL(15,4) NULL COMMENT '市净率(PB)     每股股价与每股净资产的比率     市净率=（股票在指定交易日期的收盘价 * 当日人民币外汇牌价 * 截至当日公司总股本）/归属母公司股东的权益。',
  `ps_ratio` DECIMAL(15,4) NULL COMMENT '市销率(PS, TTM)     市销率为股票价格与每股销售收入之比，市销率越小，通常被认为投资价值越高。     市销率TTM=（股票在指定交易日期的收盘价 * 当日人民币外汇牌价 * 截至当日公司总股本）/营业总收入TTM',
  `pcf_ratio` DECIMAL(15,4) NULL COMMENT '市现率(PCF, 现金净流量TTM)     每股市价为每股现金净流量的倍数     市现率=（股票在指定交易日期的收盘价 * 当日人民币外汇牌价 * 截至当日公司总股本）/现金及现金等价物净增加额TTM',
  PRIMARY KEY (`code`, `day`))
COMMENT = '市值数据-股票代码模5余3';

CREATE TABLE `jqdata`.`t_valuation_4` (
  `code` VARCHAR(20) NOT NULL COMMENT '股票代码  带后缀.XSHE/.XSHG',
  `day` DATE NOT NULL COMMENT '取数据的日期',
  `capitalization` DECIMAL(20,4) NULL COMMENT '总股本(万股)     公司已发行的普通股股份总数(包含A股，B股和H股的总股本)',
  `circulating_cap` DECIMAL(20,4) NULL COMMENT '流通股本(万股)     公司已发行的境内上市流通、以人民币兑换的股份总数(A股市场的流通股本)',
  `market_cap` DECIMAL(20,10) NULL COMMENT '总市值(亿元)     A股收盘价*已发行股票总股本（A股+B股+H股）',
  `circulating_market_cap` DECIMAL(20,10) NULL COMMENT '流通市值(亿元)     流通市值指在某特定时间内当时可交易的流通股股数乘以当时股价得出的流通股票总价值。     A股市场的收盘价*A股市场的流通股数',
  `turnover_ratio` DECIMAL(10,4) NULL COMMENT '换手率(%)     指在一定时间内市场中股票转手买卖的频率，是反映股票流通性强弱的指标之一。     换手率=[指定交易日成交量(手)100/截至该日股票的自由流通股本(股)]100%',
  `pe_ratio` DECIMAL(15,4) NULL COMMENT '市盈率(PE, TTM)     每股市价为每股收益的倍数，反映投资人对每元净利润所愿支付的价格，用来估计股票的投资报酬和风险     市盈率（PE，TTM）=（股票在指定交易日期的收盘价 * 当日人民币外汇挂牌价 * 截止当日公司总股本）/归属于母公司股东的净利润TTM。',
  `pe_ratio_lyr` DECIMAL(15,4) NULL COMMENT '以上一年度每股盈利计算的静态市盈率. 股价/最近年度报告EPS     市盈率（PE）=（股票在指定交易日期的收盘价 * 当日人民币外汇牌价 * 截至当日公司总股本）/归属母公司股东的净利润。',
  `pb_ratio` DECIMAL(15,4) NULL COMMENT '市净率(PB)     每股股价与每股净资产的比率     市净率=（股票在指定交易日期的收盘价 * 当日人民币外汇牌价 * 截至当日公司总股本）/归属母公司股东的权益。',
  `ps_ratio` DECIMAL(15,4) NULL COMMENT '市销率(PS, TTM)     市销率为股票价格与每股销售收入之比，市销率越小，通常被认为投资价值越高。     市销率TTM=（股票在指定交易日期的收盘价 * 当日人民币外汇牌价 * 截至当日公司总股本）/营业总收入TTM',
  `pcf_ratio` DECIMAL(15,4) NULL COMMENT '市现率(PCF, 现金净流量TTM)     每股市价为每股现金净流量的倍数     市现率=（股票在指定交易日期的收盘价 * 当日人民币外汇牌价 * 截至当日公司总股本）/现金及现金等价物净增加额TTM',
  PRIMARY KEY (`code`, `day`))
COMMENT = '市值数据-股票代码模5余4';

获取股票信息

# -*- coding: UTF-8 -*-
import sys
import pandas as pd
import jqdatasdk as jq
import mysql.connector
import pymysql
from sqlalchemy import create_engine

def get_all_securities():
    '''获取全部股票信息'''
    res = jq.get_all_securities(types=['stock'], date=None)
    '''删除type字段'''
    res=res.drop(['type'], axis=1)

    '''清表'''
    mdbconn = mysql.connector.connect(user='jqdata', password='jqdata', database='jqdata', use_unicode=True)
    cursor = mdbconn.cursor()
    cursor.execute('truncate table t_all_securities')
    mdbconn.commit()
    cursor.close()
    print('truncate table t_all_securities success')
    '''DataFrame入库'''
    pymysql.install_as_MySQLdb()
    mysqlconnect = create_engine('mysql+mysqldb://jqdata:jqdata@localhost:3306/jqdata?charset=utf8')
    res.to_sql(name='t_all_securities',con=mysqlconnect,schema='jqdata',if_exists='append',index=True,index_label='security',chunksize=1000)
    print('all securities saved in t_all_securities success')
    return

def main():
    jq.auth('***', '***')
    get_all_securities()
    jq.logout()


if __name__ == "__main__":
    sys.exit(main())

获取日线行情信息

# -*- coding: UTF-8 -*-
#如不指定下载数据的时间段,则自动判断下载全量或补充增量,
#如指定下载数据时间段,则删除期间数据,重新下载全部股票的数据

import sys
import datetime
import pandas as pd
import jqdatasdk as jq
import mysql.connector
import pymysql
from sqlalchemy import create_engine


def get_one_price(security,startday,endday):
    '''获取单只股票的指定时间段的后复权日线数据'''
    res = jq.get_price(security, start_date=startday, end_date=endday, 
                      frequency='daily', fields=['open','close','high','low','volume','money','factor','high_limit','low_limit','avg','pre_close','paused'], 
                      skip_paused=False, fq='post', 
                      count=None)
    '''增加股票代码列'''
    res['security']=security
    print(res)

    '''表路由,计算表名'''
    tmod=int(security[:6]) % 5

    tablename='t_kline_day_'+str(tmod)
    print(tablename)


    '''清理老数据'''
    sql="delete from " + tablename + " where security = '" + security + "' and kday >='" + startday + "' and kday <='" + endday + "'"
    print(sql)    
    mdbconn = mysql.connector.connect(user='jqdata', password='jqdata', database='jqdata', use_unicode=True)
    cursor = mdbconn.cursor()
    cursor.execute(sql)
    mdbconn.commit()
    cursor.close()


    '''DataFrame入库'''
    pymysql.install_as_MySQLdb()
    mysqlconnect = create_engine('mysql+mysqldb://jqdata:jqdata@localhost:3306/jqdata?charset=utf8')
    res.to_sql(name=tablename,con=mysqlconnect,schema='jqdata',if_exists='append',index=True,index_label='kday',chunksize=1000)
    print("all " + security + "data saved in " + tablename + " success")
    return

def get_all_price(b='0',e='0'):
    '''遍历全部股票,获取日线数据'''
    '''从本地数据库里获取全部股票信息,代码,上市日期,退市日期'''
    mdbconn = mysql.connector.connect(user='jqdata', password='jqdata', database='jqdata', use_unicode=True)
    sql="select security , start_date, end_date from t_all_securities"


    securities=pd.read_sql(sql, mdbconn, index_col=None, coerce_float=True, params=None, parse_dates=None, columns=None, chunksize=None)

    cursor = mdbconn.cursor()
    for i in range(0,len(securities)):
        security=securities.iloc[i]['security']
        #没有入参,表示自动运行,判断已经存在的数据,加载至今的,没有数据,加载全部数据.
        if b=='0':
            startday=securities.iloc[i]['start_date'].strftime('%Y-%m-%d')
            endday=securities.iloc[i]['end_date'].strftime('%Y-%m-%d')

            tmod=int(security[:6]) % 5

            tablename='t_kline_day_'+str(tmod)

            sql="select ifnull(max(kday),'0000-00-00') as kday from " + tablename + " where security = '" + security + "'"

            cursor.execute(sql)
            kday = cursor.fetchone()[0]

            today=datetime.datetime.now().strftime('%Y-%m-%d')

            #计算起始日期
            if kday == '0000-00-00':
                pass
            elif kday != '0000-00-00' and kday < today:
                delta=datetime.timedelta(days=1)
                kday=datetime.datetime.strptime(kday, '%Y-%m-%d')
                startday=(kday+delta).strftime('%Y-%m-%d')

            #计算结束日期
            if today < endday :
                endday=today

        else:
            #按指定日期运行
            startday=b
            endday=e


        get_one_price(security, startday, endday)

    cursor.close()
    return

def main(b='0',e='0'):
    jq.auth('***', '***')


    get_all_price(b,e)

    jq.logout()


if __name__ == "__main__":
    #sys.exit(main())
    sys.exit(main('2019-07-01','2019-07-02'))

获取市值数据信息

# -*- coding: UTF-8 -*-
#获取市值数据,入参是日期,每日获取全部数据

import sys
import datetime
import pandas as pd
import jqdatasdk as jq
from jqdatasdk import *
import mysql.connector
import pymysql
import sqlalchemy
from sqlalchemy import create_engine

def get_oneday_valuation(day):
    '''
    获取某一天的所有市值数据
    由于返回数量限制,分股票代码 0 3 6 开头三次取数据.
    如何分表呢,将res按股票代码切分为5个res,分别存入5张表中

    '''
    for x in ['0','3','6']:

        #get_fundamentals(query(valuation),date)
        qry = query(
            valuation
        ).filter(
            valuation.code.ilike (x+'__________')
        )
        res = get_fundamentals(qry, day)
        res=res.drop(['id'], axis=1)

        #增加模列
        res['mod']=res['code'].map(lambda x:int(x[:6])%5)

        res0=res.loc[res['mod']==0].drop(['mod'],axis=1)
        res1=res.loc[res['mod']==1].drop(['mod'],axis=1)
        res2=res.loc[res['mod']==2].drop(['mod'],axis=1)
        res3=res.loc[res['mod']==3].drop(['mod'],axis=1)
        res4=res.loc[res['mod']==4].drop(['mod'],axis=1)

        #'''清理老数据'''
        sql0="delete from t_valuation_0 where day = '" + day + "' and code like '"+x+"%'"
        sql1="delete from t_valuation_1 where day = '" + day + "' and code like '"+x+"%'"
        sql2="delete from t_valuation_2 where day = '" + day + "' and code like '"+x+"%'"
        sql3="delete from t_valuation_3 where day = '" + day + "' and code like '"+x+"%'"
        sql4="delete from t_valuation_4 where day = '" + day + "' and code like '"+x+"%'"
        mdbconn = mysql.connector.connect(user='jqdata', password='jqdata', database='jqdata', use_unicode=True)
        cursor = mdbconn.cursor()
        cursor.execute(sql0)
        cursor.execute(sql1)
        cursor.execute(sql2)
        cursor.execute(sql3)
        cursor.execute(sql4)
        mdbconn.commit()
        cursor.close()


        '''DataFrame入库'''
        pymysql.install_as_MySQLdb()
        mysqlconnect = create_engine('mysql+mysqldb://jqdata:jqdata@localhost:3306/jqdata?charset=utf8')
        res0.to_sql(name='t_valuation_0',con=mysqlconnect,schema='jqdata',if_exists='append',index=False,chunksize=1000)
        res1.to_sql(name='t_valuation_1',con=mysqlconnect,schema='jqdata',if_exists='append',index=False,chunksize=1000)
        res2.to_sql(name='t_valuation_2',con=mysqlconnect,schema='jqdata',if_exists='append',index=False,chunksize=1000)
        res3.to_sql(name='t_valuation_3',con=mysqlconnect,schema='jqdata',if_exists='append',index=False,chunksize=1000)
        res4.to_sql(name='t_valuation_4',con=mysqlconnect,schema='jqdata',if_exists='append',index=False,chunksize=1000)
        print("all "+ day + "valuation data saved in t_valuation_[0,4] success")

    return

jq.auth('***', '***')
#如果传入非交易日,将会获取到之前的最近一个交易日数据,但是删除数据库历史数据删除传入日期,导致后续插入数据失败.
#使用交易日表 按日期循环取历史
get_oneday_valuation('2019-07-05')
jq.logout()

 

firsttianyi
关注
  • 0
    点赞
  • 踩
  • 6
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
JQData安装的问题（本地调用的量化金融数据接口-免费）
joinquantdata的博客
09-06 1万+
1. JQData简介 （1）JQData是聚宽数据团队专门为有志于从事量化投资的金融机构、研究人员以及个人量化爱好者提供的本地量化金融数据。用户只需在本地Python环境下安装JQData数据包，输入三行代码，即可调用由聚宽数据团队专业生产的全套量化金融数据，让你轻松告别平台限制，灵活安全地完成本地化的量化研究与投资决策。 （2）支持系统：Linux、Mac、Windows （3）支持Py...
聚宽---JQData基本介绍
kingking2888的博客
12-18 2665
JQData基本介绍 JQData是什么 JQData是聚宽数据团队专门为金融机构、学术研究和量化研究者们提供的本地量化金融数据服务。使用JQData，可快速查看和计算金融数据，无障碍解决本地、Web、金融终端调用数据的需求。历经3年沉淀，15万宽客及数百家机构投研交易验证。 使用上，JQData适用Windows、Mac、Linux多种操作系统，支持python2、python3。数据通过简洁的...
JQData安装(转)
carllzm1的博客
03-04 2418
首先，JQData是基于python的一个数据包，所以安装JQData的第一步是安装Python （没有接触过python或者python基础不好的小伙伴，可以关注聚宽量化课堂的python讲堂进行python学习）。 对于python安装包的选择，小编建议下载Anaconda，因为Anaconda提供了许多非常强大的工具包，小伙伴们只要下载安装Anaconda，就可以直接使用，而不需要挨个查找安...
聚宽JQData说明书
热门推荐
weixin_42202309的博客
02-19 1万+
由于内容较多，可使用Ctrl+F搜索您需要的数据。 注意：query函数的更多用法详见：sqlalchemy.orm.query.Query对象 JQData是什么 JQData是聚宽数据团队专门为金融机构、学术团体和量化研究者们提供的本地量化金融数据服务。使用JQData，可快速查看和计算金融数据，无障碍解决本地、Web、金融终端调用数据的需求。历经3年沉淀，15万宽客及数百家机构投研交易验证。...
JQData安装 | 最贴心教程，安装JQData全靠这篇指南
11-11 2031
Hi, 各位亲爱的小伙伴们！ 近来听说有部分小伙伴在安装JQData时遇到了点小麻烦，导致最后没有安装成功，为了帮助小伙伴们快速成功安装JQData，小编今天来为大家排一下“雷”，希望能帮到你们哟 (･ω･)　友情提示，文末评论区有彩蛋~ 感谢本文小编：小胖 首先，JQData是基于python的一个数据包，所以安装JQData的第一步是安装Python （没有接触过python或者python基础不好的小伙伴，可以关注聚宽量化课堂的python讲堂进行python学习）。 对于python安装包
详解使用Docker部署MySQL（数据持久化）
01-20
本文简述如何使用Docker部署mysql,同时持久化数据.我们会用到tutum-docker-mysql 这个项目来搭建一个mysql,省去重头写Dockerfile的时间. 首先我们将tutum-docker-mysql跑起来. docker run -d -p 3306:3306 --name ...
MySQL表数据迁移自动化
02-03
之前我写过关于SQLServer的数据迁移自动化的文章：SQLServer数据库迁移偏方，在上篇文章中设计了一张临时表，这个临时表记录搬迁的配置信息，用一个存储过程读取这张表进行数据的迁移，再由一个Job进行迭代调用这个...
Mysql使用存储过程快速添加百万数据.docx
08-24
在本文中，我们将介绍如何使用 Mysql 存储过程快速添加百万数据，并讨论相关的知识点。 知识点一：Mysql 存储过程 Mysql 存储过程是一组按顺序执行的 SQL 语句的集合，可以用来实现复杂的业务逻辑。存储过程可以...
Mysql存储过程实践——用户常用模块表初始化数据
01-19
需求描述：为所有在职用户添加常用模块初始化数据 需求分析： 1、首先是主键ID可以直接用mysql自带的函数生成UUID， 2、机构ID是固定的，是为某一个机构初始数据 3、用户ID是查询用户表，筛选在职的用户 4、模块指定...
scrapy抓取数据存储至本地mysql数据库-大众点评爬虫.zip
最新发布
03-01
其主要功能是访问网页、提取数据并存储，以便后续分析或展示。爬虫通常由搜索引擎、数据挖掘工具、监测系统等应用于网络数据抓取的场景。 爬虫的工作流程包括以下几个关键步骤： URL收集： 爬虫从一个或多个初始...
JQData应用#A股行业投资指南——好的投资，首先是选好行业
09-06
为了满足用户的需求，推动量化行业的快速发展，聚宽数据团队在JQData中不仅提供了全面的基础金融数据，包括沪深A股行情数据，上市公司财务数据，场内基金数据，指数数据，期货数据以及宏观经济数据；除此之外，JQData还针对因子数据和特色数据，引进了Alpha特色因子，技术分析指标因子，tick数据以及百度因子数据，助您更好的完成量化研究和投资决策。
jqdatasdk手动安装
maggiemaggiemay的博客
06-13 4954
—— 本篇文章 by Bowen 一、软件准备 1、下载jqdatasdk 下载地址：https://github.com/JoinQuant/jqdatasdk/ 2、下载python环境，目前jqdata版本为1.5.0，依赖python 下载地址：https://www.python.org/downloads/ 二、安装python 1、步骤 2、测试安装是否成功，在cmd窗口里...
股票python量化交易008-JoinQuant中JQData的使用
Johnny2004的专栏
05-22 577
查阅JoinQuant中JQData的使用文档 python代码实现 导入JQData，并认证用户身份。认证完毕显示“auth success”后即可使用 from jqdatasdk import *; auth('ID','Password');#ID是申请时所填写的手机号；Password为聚宽官网登录密码 # 查询jqdata的调用次数情况 surplus_count = get_query_count(); print("你剩余的调用次数：", surplus_count);
Python量化策略入门1-如何利用聚宽(JoinQuant)下载金融数据
wangxinyu0102的博客
08-22 1万+
@[TOC]量化策略入门1-如何利用聚宽(JoinQuant)下载金融数据 前言 量化策略入门系列文章是本人学习股票量化笔记，最终输出结果希望是一个可在本地运行的回测框架，包含数据获取，数据处理，策略回测等。 本文主要为了介绍如何利用聚宽(JoinQuant)的数据接口下载金融数据。主要针对量价数据(开盘价，收盘价，最高价，最低价，成交量等)。 使用宽聚(JoinQuant)的体验 宽聚(JoinQuant)提供了数据接口，可以方便的下载股票数据。使用下来唯一缺点是每日可下载数据量有限，每天最多可下载100
JQData估值分析
yxjcaesar的专栏
03-05 202
（转自：https://www.joinquant.com/view/community/detail/9e0c400b057e246bdca2db2d54b85941） 投资最重要的事--估值 投资最重要的是什么？答：判断“胖瘦”的能力。 巴菲特：对面过来一个200斤的人，你不需要一台体重秤，也该知道他是胖子。 要想做好投资，你该知道自己心仪的标的到底是贵还是便宜。 在资本市场，判断...
第三方API（jqdatasdk）获取实时行情数据
AI 量化
01-07 1383
这里介绍使用使用JQData的jqdatasdk获取实时行情数据，并实时存入数据库中（mongodb和myslq）。 JQData是聚宽数据团队专门为金融机构、学术团体和量化研究者们提供的本地量化金融数据服务。使用JQData，可快速查看和计算金融数据，无障碍解决本地、Web、金融终端调用数据的需求。 JQData适用Windows、Mac、Linux多种操作系统，支持python2、python3和以及任意编程语言。详细参见聚宽官方网站。 1、引入库 import pandas as pd import
将在本地获取jqdata的数据保存为sql数据库,并读取数据的方法
mInfoDavid的专栏
03-04 581
如何将本地获取jqdata的数据保存为sql数据库文件呢？ 简单粗暴直接上代码，使用的是python自带的sqlite3数据库，比较轻便！ import jqdatasdk as jq from sqlalchemy import create_engine #sqlalchemy是Python自带的与数据库联结的包，导入创建数据库联结的函数 import sqlite3 #导入pyt...
【转载】聚宽：JQData | 量化界最好用的本地量化金融数据
xut4333的专栏
08-18 1539
什么是本地量化金融数据 - JQData ？ 使用JQData本地量化金融数据服务，可快速查看、计算或接入金融数据信息，解决本地、web、自研金融终端调用数据的需求。支持python多版本及多操作系统。为财经类企业、金融机构、学术研究机构和量化爱好者们提供一站式财经信息服务及数据解决方案。现已服务于国内多家顶级券商的量化交易平台，历经2年多百亿级实盘交易量考验，完全具备商用数据的稳定性和准确性。为了保证数据质量，聚宽每年投入数百万元，从各大交易所、统计局等权威官方渠道获取原始数据授权，再由专业的数据团队清
【 转】如何将jqdata的财务报表数据保存到本地csv和npy
carllzm1的博客
03-04 444
该文章转自https://www.joinquant.com/community/post/detailMobile?postId=15266&amp;amp;page=&amp;amp;limit=20 首先在C盘新建文件夹---数据，然后获取财务数据。我们已上证50为案例，获取50只股票最近一个季度的财务数据，然后保存到本地，格式csvfrom jqdatasdk import *import jqdatas...
c#使用mysql的query获取数据
06-09
您可以使用以下C#代码来使用MySQL的Query获取数据： ```csharp using MySql.Data.MySqlClient; MySqlConnection conn = new MySqlConnection("Server=your_server_address;Database=your_database_name;Uid=your_...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值