股票数据定向爬虫

最新推荐文章于 2024-08-02 09:56:06 发布

ur_ytii

最新推荐文章于 2024-08-02 09:56:06 发布

阅读量1.5k

点赞数

分类专栏： Python

本文链接：https://blog.csdn.net/ur_ytii/article/details/98210753

版权

本文介绍了一个股票数据爬虫的实现过程，首先从东方财富网获取股票列表，然后针对每个股票到百度股票获取详细信息，并最终将所有数据存储到文件中。爬虫遵循了不抓取JS生成及受Robots协议限制的内容。

摘要由CSDN通过智能技术生成

功能描述：获取上交所和深交所所有股票的名称和交易信息，将输出保存到文件中

候选数据网站的选择原则：股票信息需静态存在于HTML页面中，非js代码生成没有Robots协议限制。

步骤：

1.从东方财富网获取股票列表

2.根据股票列表逐个到百度股票获取个股信息

3.将结果储存到文件

import requests
from bs4 import BeautifulSoup
import traceback
import re
 
def getHTMLText(url):
    try:
        r=requests.get(url)
        r.raise_for_status()
        #r.encoding=r.apparent_encoding
        return r.text
    except:
        return ""
 
def getStockList(lst,stockURL):
    html=getHTMLText(stockURL)
    soup=BeautifulSoup(html,'html.parser')
    a=soup.find_all('a')
    for i in a:
        try:
            href=i.attrs['href']
            lst.append(re.findall(r"[s][hz]\d{6}",href)[0])
        except:
            continue
 
def getStockInfo(lst,stockURL,fpath):
    for stock in lst:
        url=stockURL+stock+".html"