python爬虫新闻爬取

最新推荐文章于 2024-08-03 15:58:00 发布

夜975

最新推荐文章于 2024-08-03 15:58:00 发布

阅读量1.1k

点赞数 2

文章标签： python html 开发语言

本文链接：https://blog.csdn.net/weixin_62786924/article/details/130528257

版权

该博客介绍了一种使用Python进行网络爬虫的方法，以获取新浪新闻的标题、时间、作者、来源、正文和图片。通过requests和BeautifulSoup库解析HTML，提取所需信息，并保存到本地文件。博客还包含了错误处理和新闻保存的完整流程。

摘要由CSDN通过智能技术生成

import requests
from bs4 import BeautifulSoup
import os
import re
import traceback
from datetime import datetime
headers={'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/110.0.0.0 Safari/537.36'}
#获取一个新闻网页的内容，返回新闻dict和图片list
def get_news(url):
    new_dict={}
    news_pic_list= []
    try:
    #获取页面内容
        res=requests.get(url,headers=headers)
        res.encoding=res.apparent_encoding
    #2.用BeautifulSoup提取标题、时间、作者、来源、正文、图片
        soup = BeautifulSoup(res.text,'html.parser')
    #标题
        new_title=soup.find('h1',class_='main-title').text
    #print(new_title)
    #时间
        new_time=soup.select('span.date')[0].text
    #print(new_time)
    #作者
        new_author=soup.find('p',class_='show_author').text
    #print(new_author)
    #来源
        new_source=soup.select('.source')[0].text
    #pr