爬取在新浪财经中搜索“贵州茅台”得到的信息，包括新闻标题、网址、来源、日期。

1 需求

爬取在新浪财经中搜索“贵州茅台”（https://search.sina.com.cn/?q=贵州茅台&c=news&from=channel）得到的信息，包括新闻标题、网址、来源、日期。

2 代码实现

import requests
import re


# 获取网页源代码
url = 'https://search.sina.com.cn/?q=贵州茅台&c=news&from=channel'
headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:91.0) Gecko/20100101 Firefox/91.0'}
source = requests.get(url=url, headers=headers).text
# 获取网页图片的下载地址
p_img = ';" src="(.*?)" />'
img = re.findall(p_img, source)
# 获取网页标题
p_title = '.shtml" target="_blank">(.*?)</a>'
title = re.findall(p_title, source)
# 获取网页网址
p_href = '<h2><a href="(.*?)" target="_blank">'
href = re.findall(p_href, source)
# 获取来源
p_come = '<span class="fgray_time">(.*?)</span></h2>'
come = re.findall(p_come, source)
# 数据清理并存储
for index in range(len(title)):
    title[index] = re.sub('<.*?>', '', title[index]).strip()
    file = open('images/' + title[index] + ".jpg", 'wb')
    pic = requests.get(img[index])
    file.write(pic.content)
    file.close()
    print(str(index + 1) + "." + title[index] + "(" + href[index] + ")")