获取股票数据（历史数据，Python + MySQL）

最新推荐文章于 2024-07-26 20:00:03 发布

次世代游戏建模教学

最新推荐文章于 2024-07-26 20:00:03 发布

阅读量2.8k

点赞数 1

文章标签： Python Python3 Python基础数据挖掘数据分析

本文链接：https://blog.csdn.net/ITweb688/article/details/103122907

版权

本文介绍了如何使用Python3和MySQL获取并存储股票历史数据。通过调用网易数据接口，获取股票的开盘价、最高价、最低价、收盘价等信息。首先建立stock_list和stock_list_20190209两个表格作为任务清单，然后利用getStockData.py、util.py和datetimeUtil.py三个脚本进行数据抓取，最后将数据存入stock_his_data表中，总记录数达到9045612条。

摘要由CSDN通过智能技术生成

从互联网（网易数据接口）获取股票历史数据，包括开盘价、最高价、最低价、收盘价等等

环境

Python 3.6
MySQL 5.6.34

table: stock_list

记录数：3592 条，以该表为基础，制作 mission 清单。

table: stock_list_20190209（ mission list ）

从这个表里，每次读取一定数量的记录，依次从互联网上获取。

code: getStockData.py


在学习过程中有什么不懂得可以加我的
python学习交流扣扣qun，784758214
群里有不错的学习视频教程、开发工具与电子书籍。
与你分享python企业当下人才需求及怎么从零基础学习好python，和学习什么内容
'''
《获取股票历史市值》
Created on 2018年2月12日
@author: Livon

# 读取 股票列表，含代码及 上市日期、终止上市日期

（1）列表
        每次执行前，手工新建一个当前日期的表，如果存在就删除重建（可能是执行一个存储过程）
        表名：stock_list_20180212 // 股票列表
        表字段：id, 股票代码， 是否顺利完成，获取记录数量
        每次取一条记录，依次执行，中断了，下次可以从中断处继续。

（2）
每条记录，按指定日期范围进行获取

再建

# 从网易数据接口拉取市值数据

# 存入表 stock_his_marketCap 中

'''

import util
import urllib
import csv
import time
import datetimeUtil

from urllib import request

jobListTable = 'stock_list_20180209'

def p( msg ):
    print( '%s - %s' % ( datetimeUtil.getDatetime(), msg ))

def startJob():

    # 从数据池中读取 n 记录
    missionList = util.getMissionList( jobListTable )

    # 循环处理上述的 n 条记录
    for mission in missionList:
#         for value in row:
#             print( value )
        # 根据记录生成一条 url，一个 url 可以获取几千条日记录
        url = util.genUrl( mission )
    #     url = 'http://quotes.money.163.com/service/chddata.html?code=1000001&start=19910401&end=19910409'
    #     url += '&fields=LCLOSE;TOPEN;HIGH;LOW;TCLOSE;CHG;PCHG;TURNOVER;VOTURNOVER;VATURNOVER;TCAP;MCAP'  

#         print( dt(), ' - ', url )
        p( 'url: %s' % url )

        # 从互联网上获取股票数据
        dataList = util.getStockDataList( url )

        if( dataList != None ):
            # 将数据保存在目标表：股票历史数据表中
            insertedRows = util.insertTable( dataList )        
            # 更新 mission List 状态标志列
            util.updateJobList( jobListTable, mission, insertedRows )    
        else :
            p( 'csv 文件无数据。' )

        p('standby a moment for next mission（ you can terminal the program at this time）.')
        time.sleep(3)

# main
for i in range( 0, 2 ):
    p( 'startJob: %s' % str(i)  )
    startJob()

# done
print( '= = = = = = = = = = = = = = = = = = = = = = ' )
p( 'all done !')
print( '= = = = = = = = = = = = = = = = = = = = = = ' )

code: util.py

在学习过程中有什么不懂得可以加我的
python学习交流扣扣qun，784758214
群里有不错的学习视频教程、开发工具与电子书籍。
与你分享python企业当下人才需求及怎么从零基础学习好python，和学习什么内容
'''
Created on 2018年2月11日

@author: Livon
'''

import urllib.request

import re
import pymysql

from urllib import req