爬取多家公司的新浪财经新闻，并设置好异常情况处理。

最新推荐文章于 2024-08-02 09:56:06 发布

香蕉神经

最新推荐文章于 2024-08-02 09:56:06 发布

阅读量436

点赞数

分类专栏： Python爬虫编程文章标签： python

本文链接：https://blog.csdn.net/qq_52010626/article/details/119777867

版权

Python爬虫编程专栏收录该内容

32 篇文章 2 订阅

订阅专栏

这段代码实现了从新浪财经网站爬取指定公司的新闻，包括字节跳动、阿里巴巴、腾讯和贵州茅台。它通过设置User-Agent避免被识别为机器人，并处理了异常情况，将新闻标题、链接和图片保存到本地。代码使用了requests和re库进行网络请求和正则表达式匹配。

摘要由CSDN通过智能技术生成

1 需求

爬取多家公司的新浪财经新闻，并设置好异常情况处理。

2 代码实现

import requests
import re


def news(company, page):
    # 获取网页源代码
    url = 'https://search.sina.com.cn/news?q=' + company + '&c=news&sort=time&page' + str(page)
    headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:91.0) Gecko/20100101 Firefox/91.0'}
    source = requests.get(url=url, headers=headers).text
    # 获取新闻标题
    p_title = '<h2>.*?" target="_blank">(.*?)</a>'
    title = re.findall(p_title, source)
    # 获取网页网址
    p_href = '<h2>.*?<a href="(.*?)" target="_blank">'
    href = re.findall(p_href, source)
    p_img = '" src="(.*?)" />'
    img = re.findall(p_img, source)
    for index in range(len(title)):
        title[index] = re.sub('<.*?>', '', title[index]).strip()
        file = open('images/' + title[index] + '.jpg', 'wb')
        pic = requests.get(img[index])
        file.write(pic.content)
        file.close()
        print(str(index + 1) + "." + title[index] + "(" + href[index] + ")")
        print()


if __name__ == "__main__":
    companies = ['字节跳动', '阿里巴巴', '腾讯', '贵州茅台']
    for index in range(10):
        for company in companies:
            try:
                news(company, index + 1)
                print(company + "新浪财经爬取成功！")
            except:
                print(company + "新浪财经爬取失败！")