python把网易财经的股票信息财务报表入库(MySQL)

最新推荐文章于 2024-09-08 05:47:41 发布

行者刘6

最新推荐文章于 2024-09-08 05:47:41 发布

阅读量5.4k

点赞数 1

本文链接：https://blog.csdn.net/qq_38282706/article/details/80035054

版权

本文介绍了一个使用Python编写的爬虫，该爬虫根据@Jack-Cui的教程稍作修改，重点在于使用lazyspider方法避免手动编写SQL插入语句，并采用progressbar模块显示进度条（不适用于CMD）。内容包括eval()函数将字符串转换为变量，自动生成创建表格的SQL语句，lazyspider库的运用，以及progressbar模块的使用。示例代码中展示了如何自动化创建数据库表格，无需手动编写痛苦的SQL语句。

摘要由CSDN通过智能技术生成

还是跟着@Jack-Cui老哥教程跟着编的爬虫，稍微改动了下，主要是mysql的插入方式，我使用了lazyspider的方法，不需要手动撸sql语句，还用的progressbar模块，可以显示进度条(不过不能再cmd用！！)

原网址：https://blog.csdn.net/c406495762/article/details/77801899

要点：1.eval()可以把字串符变为变量

2.利用循环生成创建表格的sql语句

3.lazystore的使用

4.progressbar模块生成进度条

代码如下

#-*- coding:UTF-8 -*-
import sys
import requests
from bs4 import BeautifulSoup
import re
from lazyspider.lazystore import LazyMysql
import time
from progressbar import *

class FinancialData():
    def __init__(self):
        # 服务器域名
        self.server = 'http://quotes.money.163.com/'
        self.cwnb = 'http://quotes.money.163.com/hkstock/cwsj_'
        # 主要财务指标
        self.cwzb_dict = {'EPS': '基本每股收益', 'EPS_DILUTED': '摊薄每股收益', 'GROSS_MARGIN': '毛利率',
                          'CAPITAL_ADEQUACY': '资本充足率', 'LOANS_DEPOSITS': '贷款回报率', 'ROTA': '总资产收益率',
                          'ROEQUITY': '净资产收益率', 'CURRENT_RATIO': '流动比率', 'QUICK_RATIO': '速动比率',
                          'ROLOANS': '存贷比', 'INVENTORY_TURNOVER': '存货周转率', 'GENERAL_ADMIN_RATIO': '管理费用比率',
                          'TOTAL_ASSET2TURNOVER': '资产周转率', '