Python 爬虫实战：爬取 Yahoo 财经股票数据（实时行情监控）-CSDN博客

本文链接：https://blog.csdn.net/yansideyucsdn/article/details/148095687

引言

在当今信息爆炸的时代，实时获取和处理数据对于投资者、分析师以及研究人员来说至关重要。Python，作为一种强大且灵活的编程语言，在数据爬取和分析领域表现出色。本文将详细介绍如何使用Python爬虫技术来实时监控Yahoo财经股票数据，帮助读者掌握从数据抓取到数据处理的完整流程。

一、环境搭建

在开始编写爬虫之前，我们需要确保我们的开发环境已经准备就绪。以下是进行本教程所需的Python库：

requests：用于发起网络请求。
BeautifulSoup：用于解析HTML页面。
pandas：用于数据处理和分析。
matplotlib：用于数据可视化（可选）。
可以使用以下命令安装必要的库（如果尚未安装）：

pip install requests beautifulsoup4 pandas matplotlib

二、Yahoo财经股票数据概览

Yahoo财经提供了丰富的股票数据，包括但不限于股票价格、市值、市盈率、股息等。这些数据通常以HTML格式嵌入在网页中，或者通过JavaScript动态加载。在本教程中，我们将专注于抓取股票的实时价格数据。
Yahoo财经的股票页面URL通常遵循以下格式：

https://finance.yahoo.com/quote/{股票代码}/

例如，苹果公司的股票代码为AAPL，其Yahoo财经页面为https://finance.yahoo.com/quote/AAPL/。

三、编写爬虫

3.1 发起请求

首先，我们需要使用requests库向Yahoo财经的股票页面发起HTTP GET请求。以下是一个简单的示例：

import requests
def get_stock_page(stock_code):
    url = f'https://finance.yahoo.com/quote/{stock_code}/'
    response = requests.get(url)
    if response.status_code == 200:
        return response.text
    else:
        print(f'Error: {response.status_code}')
        return None

3.2 解析页面

一旦我们成功获取了页面内容，下一步就是解析HTML以提取所需的数据。这里我们使用BeautifulSoup库来解析HTML。以下是如何找到并提取股票价格的示例：

from bs4 import BeautifulSoup
def parse_stock_price(html):
    soup = BeautifulSoup(html, 'html.parser')
    price_tag = soup.find('span', {'class': 'Trsdu(0.3s) Fw(b) Fz(36px) Mb(-4px) D(b)'})
    if price_tag:
        return price_tag.text
    else:
        print('Error: Price tag not found')
        return None

请注意，这里的class属性值可能随时间而变化，因此需要定期检查并更新选择器。

3.3 完整的爬虫函数

现在，我们可以将上述步骤组合成一个完整的爬虫函数：

def get_stock_price(stock_code):
    html = get_stock_page(stock_code)
    if html:
        return parse_stock_price(html)
    else:
        return None

四、数据存储

抓取到的数据需要被存储以便后续处理和分析。我们可以使用pandas库来创建一个DataFrame，并将数据保存为CSV文件。

import pandas as pd
def save_to_csv(data, filename):
    df = pd.DataFrame(data, columns=['Stock Code', 'Price'])
    df.to_csv(filename, index=False)
# 示例用法
stock_codes = ['AAPL', 'GOOGL', 'MSFT']
prices = [get_stock_price(code) for code in stock_codes]
data = zip(stock_codes, prices)
save_to_csv(data, 'stock_prices.csv')

五、实时监控

为了实现实时监控，我们可以使用Python的time模块来定期运行爬虫。以下是一个简单的示例，每分钟检查一次股票价格：

import time
def monitor_stock_prices(stock_codes, interval=60):
    while True:
        prices = [get_stock_price(code) for code in stock_codes]
        data = zip(stock_codes, prices)
        save_to_csv(data, 'stock_prices.csv')
        print(f'Stock prices updated at {time.ctime()}')
        time.sleep(interval)
# 示例用法
stock_codes = ['AAPL', 'GOOGL', 'MSFT']
monitor_stock_prices(stock_codes)

六、异常处理

在实际应用中，网络请求可能会遇到各种问题，如连接超时、服务器错误等。因此，我们需要在代码中添加异常处理来确保爬虫的鲁棒性。

from requests.exceptions import RequestException
def get_stock_page(stock_code):
    url = f'https://finance.yahoo.com/quote/{stock_code}/'
    try:
        response = requests.get(url, timeout=10)
        response.raise_for_status()
        return response.text
    except RequestException as e:
        print(f'Error: {e}')
        return None

七、反爬虫策略

Yahoo财经网站可能采取反爬虫措施，如检测请求频率、检查User-Agent等。为了应对这些措施，我们可以采取以下策略：

设置合理的请求间隔。
使用随机的User-Agent。

import random
USER_AGENTS = [
    "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3",
    "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_5) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/13.1.1 Safari/605.1.15",
    # 添加更多User-Agent
]
def get_stock_page(stock_code):
    url = f'https://finance.yahoo.com/quote/{stock_code}/'
    headers = {'User-Agent': random.choice(USER_AGENTS)}
    try:
        response = requests.get(url, headers=headers, timeout=10)
        response.raise_for_status()
        return response.text
    except RequestException as e:
        print(f'Error: {e}')
        return None

八、数据可视化（可选）

如果需要，我们可以使用matplotlib库来可视化股票价格数据。

import matplotlib.pyplot as plt
def plot_stock_prices(filename):
    df = pd.read_csv(filename)
    plt.figure(figsize=(10, 5))
    plt.plot(df['Stock Code'], df['Price'], marker='o')
    plt.title('Stock Prices')
    plt.xlabel('Stock Code')
    plt.ylabel('Price')
    plt.grid(True)
    plt.show()
# 示例用法
plot_stock_prices('stock_prices.csv')

九、总结

本文详细介绍了如何使用Python爬虫技术来实时监控Yahoo财经股票数据。我们学习了如何发起网络请求、解析HTML页面、存储数据以及实现实时监控。此外，我们还讨论了异常处理和反爬虫策略，以确保爬虫的鲁棒性和可靠性。通过实践这些技术，读者可以更好地理解和利用股票数据，为投资决策提供有力支持。

十、展望

爬虫技术是数据科学领域的重要工具之一，它使我们能够从互联网中提取有价值的信息。然而，随着技术的发展，网站的反爬虫措施也越来越复杂。因此，持续学习和更新爬虫技术对于数据科学家来说至关重要。未来，我们可以探索更高级的爬虫技术，如使用Selenium处理JavaScript渲染的页面，或者利用Scrapy框架构建更强大的爬虫系统。
python爬虫图片