python3爬虫(基于requests、BeautifulSoup4)之项目实战(二)

紧接着上期话题，我在这里为大家详细解释一下BeautifulSoup的用法

soup=BeautifulSoup(res.text,'html.parser')

当我们获取了soup内容后该如何随心所欲的抓取自己想要的内容呢?
我在这里给大家介绍几个方法：
1.soup.select(’.class’):
这个方法可以返回特定div class下的内容

import requests
from bs4 import BeautifulSoup

def getInfo(url):
    res=requests.get(url)
    res.encoding='utf-8'
    soup=BeautifulSoup(res.text,'html.parser')
    results=soup.select('.intim')
    for result in results:
        print(result.text)

if __name__ == '__main__':
    url='http://jwc.tyut.edu.cn/'
    getInfo(url)

这样写我可以返回 div class叫intim下的所有内容，部分结果如下：

---

2.soup.select(’#id’):
这个方法可以返回特定div id下的内容

results=soup.select('#select')

部分结果如下：

---

3.那么我想进一步获取特定div 特定标签下的内容呢?
BeautifulSoup支持嵌套结构
比如我想获得intmc class下的a标签的title内容：

results=soup.select('.intmc a')
    for result in results:
        print(result['title'])

结果部分如下：

今天的实战就到这里了，我们下期再见！