爬取界面中“贵州茅台”相关新闻的标题、网址和日期。

1 需求

爬取界面中“贵州茅台”相关新闻的标题、网址和日期。

2 代码实现

import re

from selenium import webdriver


chrome_options = webdriver.ChromeOptions()
chrome_options.add_argument('--headless')
browser = webdriver.Chrome(options=chrome_options)

# 获取网页源代码
url = 'https://a.jiemian.com/index.php?m=search&a=index&msg=贵州茅台&type=news'
browser.get(url=url)
data = browser.page_source

# 获取网页标题
p_title = '<div class="news-header">.*?title="(.*?)">'
title = re.findall(p_title, data)

# 获取网页网址
p_href = '<div class="news-view.*?href="(.*?)" target="_blank"'
href = re.findall(p_href, data)

# 获取新闻日期
p_date = '<span class="date">(.*?)</span>'
date = re.findall(p_date, data)

# 数据整理
for index in range(len(title)):
    print(str(index + 1) + "." + title[index] + "(" + date[index] + ")")
    print(href[index])