python——爬取网页排名定向爬虫（6）

定向爬虫

定义：定向爬虫可以精准的获取目标站点信息。仅对输入URL进行爬取，不拓展爬取。

【实例练习】

【中国的大学排名爬取】
1 查看网页是否对爬虫有限制
1.查看 robots.txt

无robots.txt文件说明无爬虫限制
2.查看原网页

要提取的信息被封装在html内
2.程序的结构设计
步骤1：从网络上获取大学排名网页内容
步骤2：提取网页内容中信息到合适的数据结构（二维数据）
步骤3：利用数据结构展示并输出结果

属于二维数据

import requests
from bs4 import BeautifulSoup
import bs4
def getHTMLText(url): #获取该网页内容
    try:
        r=requests.get(url,timeout=30