python 股票数据定向爬虫

最新推荐文章于 2024-01-25 20:04:05 发布

林零零零

最新推荐文章于 2024-01-25 20:04:05 发布

阅读量318

点赞数

分类专栏：爬虫文章标签： python

本文链接：https://blog.csdn.net/qq_41622872/article/details/106409512

版权

本文介绍如何使用Python爬取东方财富网站上的股票数据。内容来源于北京理工大学嵩天老师的课程，并进行了改编。教程中将展示具体的爬虫实现过程，旨在帮助读者掌握Python网络爬虫技巧。

摘要由CSDN通过智能技术生成

用python爬取东方财富股票信息

本代码源于中国大学mooc上的北京理工大学嵩天老师的课程，本人进行了一定的修改，有不对的地方请各位大佬指出。

import requests
from bs4 import BeautifulSoup
import traceback
import re

def getHtmlText(url, code = 'utf-8'):
    try:
        r = requests.get(url, timeout = 30)
        r.raise_for_status
        r.encoding = code
        return r.text
    except:
        return ""

def getStockList(lst, stockURL):
    html =  getHtmlText(stockURL, 'GB2312')
    soup = BeautifulSoup(html, 'html.parser')
    a = soup.find_all('a'