python 爬虫爬取中国新闻网

最新推荐文章于 2025-03-26 02:11:48 发布

Mooney安

最新推荐文章于 2025-03-26 02:11:48 发布

阅读量5.8k

点赞数 4

分类专栏：爬取新闻内容文章标签： python 数据挖掘

本文链接：https://blog.csdn.net/iv_zzy/article/details/107537295

版权

中国新闻网的新闻种类较多、而且新闻比较丰富，如果需要获取大量新闻的话，中国新闻网是个不错的选择。

界面是这样的：
在这里插入图片描述

从url不难发现，改变日期就能获取不同日期的新闻
在这里插入图片描述
那么，正文开始。。。

1、获取某一个链接的新闻详情页信息

import requests
from bs4 import BeautifulSoup
url = 'http://www.chinanews.com/auto/2019/01-30/8743035.shtml'
res = requests.get(url)
res.encoding='GBK'  # html: ISO-8859-1 (2012)
# res.encoding = 'utf-8' # (2019)
soup = BeautifulSoup(res.text, 'html.parser')

title = soup.find('h1')
print(title.text.strip()