python 东方财富网&百度股票数据定向爬虫实例

最新推荐文章于 2024-04-10 08:51:04 发布

Alex1996a

最新推荐文章于 2024-04-10 08:51:04 发布

阅读量3.8k

点赞数 1

分类专栏： python-编程实践文章标签： python 股票源代码

本文链接：https://blog.csdn.net/jimtrump/article/details/72045279

版权

该博客介绍了如何使用Python进行股票数据爬虫，通过requests、BeautifulSoup和re库获取上交所和深交所的股票信息，并将其保存到文件中。文章提到了选择静态网站作为数据源，利用F12查看源代码，详细阐述了从东方财富网获取股票列表，再到百度股票获取个股详情的步骤。此外，还讨论了代码改进，如添加进度条以提升用户体验。

摘要由CSDN通过智能技术生成

功能：

1、获取上交所深交所的股票信息

2、输出保存到文件中

技术路线： requests -beatiful soup - re

候选：数据网站选择

1、静态网站，信息静态存在HTML页面中，非js 代码生成

2、 F12 ，源代码查看

多找信息源

方法：

1、从东方财富网获取股票列表信息

2、根据股票列表逐个到百度股票获取个股信息

3、将结果存储到文件中

import requests
from bs4 import BeautifulSoup
import traceback
import re

def getHTMLText(url):
    try:
        r = requests.get(url)
        r.raise_for_status()
        r.encoding = r.apparent_encoding
        return r.text
    except:
        return ""

def getStockList(lst, stockURL):
    html = getHTMLText(stockURL)
    soup = BeautifulSoup(html, 'html.parser') 
    a = soup.find_all('a')
    for i in a:
        try:
            href = i.attrs['href']
            lst.append(re.findall(r"[s][hz]\d{6}", href)[0])
        except:
            contin