python爬虫篇2——爬取深圳证券交易所股票金融数据

程序运行截图：

mysql代码：

create database financial;
use financial;
CREATE TABLE `lrb` (
  `id` int(11) NOT NULL AUTO_INCREMENT,
  `报告期` datetime DEFAULT NULL,
  `股票名` varchar(45) DEFAULT NULL,
  `股票代码` varchar(45) DEFAULT NULL,
  `净利润` varchar(45) DEFAULT NULL,
  `净利润同比` varchar(45) DEFAULT NULL,
  `扣非归母净利润` varchar(45) DEFAULT NULL,
  `扣非归母净利润同比` varchar(45) DEFAULT NULL,
  `营业总收入` varchar(45) DEFAULT NULL,
  `营业总收入同比` varchar(45) DEFAULT NULL,
  `营业支出` varchar(45) DEFAULT NULL,
  `营业支出同比` varchar(45) DEFAULT NULL,
  `销售费用` varchar(45) DEFAULT NULL,
  `管理费用` varchar(45) DEFAULT NULL,
  `财务费用` varchar(45) DEFAULT NULL,
  `营业总支出` varchar(45) DEFAULT NULL,
  `营业总支出同比` varchar(45) DEFAULT NULL,
  `营业利润` varchar(45) DEFAULT NULL,
  `营业利润同比` varchar(45) DEFAULT NULL,
  `利润总额` varchar(45) DEFAULT NULL,
  `公告日期` datetime DEFAULT NULL,
  PRIMARY KEY (`id`)
) ENGINE=InnoDB AUTO_INCREMENT=452 DEFAULT CHARSET=utf8;

CREATE TABLE `ybmx` (
  `id` int(11) NOT NULL AUTO_INCREMENT,
  `报告期` datetime DEFAULT NULL,
  `股票名` varchar(45) DEFAULT NULL,
  `股票代码` varchar(45) DEFAULT NULL,
  `报告名称` varchar(100) DEFAULT NULL,
  `评级类别` varchar(45) DEFAULT NULL,
  `作者` varchar(100) DEFAULT NULL,
  `机构` varchar(45) DEFAULT NULL,
  PRIMARY KEY (`id`)
) ENGINE=InnoDB AUTO_INCREMENT=513 DEFAULT CHARSET=utf8;

CREATE TABLE `yjb` (
  `id` int(11) NOT NULL AUTO_INCREMENT,
  `报告期` datetime DEFAULT NULL,
  `股票名` varchar(45) DEFAULT NULL,
  `股票代码` varchar(45) DEFAULT NULL,
  `每股收益` varchar(45) DEFAULT NULL,
  `每股收益扣除` varchar(45) DEFAULT NULL,
  `营业收入` varchar(45) DEFAULT NULL,
  `营业收入同比增长` varchar(45) DEFAULT NULL,
  `营业收入季度环比增长` varchar(45) DEFAULT NULL,
  `净利润` varchar(45) DEFAULT NULL,
  `净利润同比增长` varchar(45) DEFAULT NULL,
  `净利润季度环比增长` varchar(45) DEFAULT NULL,
  `每股净资产` varchar(45) DEFAULT NULL,
  `净资产收益率` varchar(45) DEFAULT NULL,
  `每股经营现金流量` varchar(45) DEFAULT NULL,
  `销售毛利率` varchar(45) DEFAULT NULL,
  `利润分配` varchar(90) DEFAULT NULL,
  `股息率` varchar(45) DEFAULT NULL,
  `首次公告日期` datetime DEFAULT NULL,
  `最新公告日期` datetime DEFAULT NULL,
  PRIMARY KEY (`id`)
) ENGINE=InnoDB AUTO_INCREMENT=545 DEFAULT CHARSET=utf8;

python代码：

import json
import re
import sys
import time
from ast import literal_eval

from 股吧数据抓取.MysqlHelper import MysqlHelper
import requests

"""mysql数据库类"""
helper = MysqlHelper('localhost', 8080, 'root', '123', 'financial', 'utf8')

"""深圳证券交易所获取指定股票代码公A司基本信息"""


class ForumBaseData:
    result = ""
    """初始化目标基本信息目标地址"""
    """code：股票代码"""

    def __init__(self, code):
        self.url = "http://www.szse.cn/api/report/index/companyGeneralization?random=0.23242534566812312&secCode=" + code
        try:
            self.respose = requests.get(self.url)
        except requests.e