股票数据 mysql_获取股票数据（历史数据，Python + MySQL）

从互联网(网易数据接口)获取股票历史数据，包括开盘价、最高价、最低价、收盘价等等

环境

Python 3.6

MySQL 5.6.34

table: stock_list

记录数：3592 条，以该表为基础，制作 mission 清单。

table: stock_list_20190209( mission list )

推荐Python大牛在线分享技术 扣qun：855408893

领域：web开发，爬虫，数据分析，数据挖掘，人工智能

零基础到项目实战，7天学习上手做项目

从这个表里，每次读取一定数量的记录，依次从互联网上获取。

code: getStockData.py

'''

《获取股票历史市值》

Created on 2018年2月12日

@author: Livon

# 读取 股票列表，含代码及 上市日期、终止上市日期

(1)列表

每次执行前，手工新建一个当前日期的表，如果存在就删除重建(可能是执行一个存储过程)

表名：stock_list_20180212 // 股票列表

表字段：id, 股票代码， 是否顺利完成，获取记录数量

每次取一条记录，依次执行，中断了，下次可以从中断处继续。

(2)

每条记录，按指定日期范围进行获取

再建

# 从网易数据接口拉取市值数据

# 存入表 stock_his_marketCap 中

'''

import util

import urllib

import csv

import time

import datetimeUtil

from urllib import request

jobListTable = 'stock_list_20180209'

def p( msg ):

print( '%s - %s' % ( datetimeUtil.getDatetime(), msg ))

def startJob():

# 从数据池中读取 n 记录

missionList = util.getMissionList( jobListTable )

# 循环处理上述的 n 条记录

for mission in missionList:

# for value in row:

# print( value )

# 根据记录生成一条 url，一个 url 可以获取几千条日记录

url = util.genUrl( mission )

# url = 'http://quotes.money.163.com/service/chddata.html?code=1000001&start=19910401&end=19910409'

# url += '&fields=LCLOSE;TOPEN;HIGH;LOW;TCLOSE;CHG;PCHG;TURNOVER;VOTURNOVER;VATURNOVER;TCAP;MCAP'

# print( dt(), ' - ', url )

p( 'url: %s' % url )

# 从互联网上获取股票数据

dataList = util.getStockDataList( url )

if( dataList != None ):

# 将数据保存在目标表：股票历史数据表中

insertedRows = util.insertTable( dataList )

# 更新 mission List 状态标志列

util.updateJobList( jobListTable, mission, insertedRows )

else :

p( 'csv 文件无数据。' )

p('standby a moment for next mission( you can terminal the program at this time).')

time.sleep(3)

# main

for i in range( 0, 2 ):

p( 'startJob: %s' % str(i) )

startJob()

# done

print( '= = = = = = = = = = = = = = = = = = = = = = ' )

p( 'all done !')

print( '= = = = = = = = = = = = = = = = = = = = = = ' )

code: util.py

'''

Created on 2018年2月11日

@author: Livon

'''

import urllib.request

import re

import pymysql

from urllib import request

# from stock.获取股票历史市值 import datetimeUtil

import datetimeUtil

def p( msg ):

print(