Python爬虫实例-​爬取某网站的h2标题的a标签的href属性和文字​

爬取网站http://www.crazyant.net/的h2标题的a标签的href属性和文字

指定url-下载url的内容-解析里面的内容-提取数据

import requests
url="http://www.crazyant.net/"
r=requests.get(url)
if r.status_code!=200:
    raise Exception()
    
html_doc=r.text

from bs4 import BeautifulSoup

soup=BeautifulSoup(html_doc,"html.parser")
h2_nodes=soup.find_all("h2",class_="entry-title")
for h2_node in h2_nodes:
    link=h2_node.find("a")
    print(link["href"],link.get_text())