使用python网络爬虫爬取新浪新闻（二）

在这我把我学习的视频说明下：
我是在网易云课堂中的Python网络爬虫实战学的，大家感兴趣的可以自己去看看。

在第一部分中，我们已经能够从一个网页中找到自己所需要的内容。那么接下来，我们要做的就是从一则新闻的内容中获得我们所需要的内容，包括标题、内容、时间、作者、来源和评论数。
那就开始吧！
在第一部分的介绍中，我介绍了通过BeautifulSoup4的套件来处理html文档的方法，然后通过该套件获取了在class为blk12中标签为<a>里面的内容。其实取得新闻的标题、内容、时间、作者、来源，都是使用的该方法

还是直接看代码和截图吧，简介明了
这里我打开了一则新闻，通过开发者工具找到了文章标题所对应的html内容，这里我们发现这则新闻的标题放在class=”main-title”的标签中

因此我们就可以使用BeautifulSoup获取标题

import requests
from bs4 import BeautifulSoup
res = requests.get('http://news.sina.com.cn/c/nd/2017-12-24/doc-ifypyuva7657785.shtml')
res.encoding = 'utf-8'
soup = BeautifulSoup(res.text,'html.parser')
news = soup.select('.main-title')
print(news[0].text)

结果如下：