Python爬虫-robots协议&&实例：中国大学排名爬取

Robots协议

网络爬虫的限制

来源审查：判断User­Agent进行限制
检查来访HTTP协议头的User­Agent域，只响应浏览器或友好爬虫的访问
发布公告：Robots协议
告知所有爬虫网站的爬取策略，要求爬虫遵守

Robots协议

Robots Exclusion Standard 网络爬虫排除标准
作用：网站告知网络爬虫哪些页面可以抓取，哪些不行
形式：在网站根目录下的robots.txt文件

Robots协议的遵守方式

网络爬虫使用Robots协议：
自动或人工识别robots.txt，再进行内容爬取
约束性：Robots协议是建议但非约束性，网络爬虫可以不遵守，但存在法律风险

中国大学排名定向爬虫实例介绍

网址：最好大学网

功能描述

输入：大学排名URL链接
输出：大学排名信息的屏幕输出（排名，大学名称，总分）
技术路线：requests­ bs4
定向爬虫：仅对输入URL进行爬取，不扩展爬取

程序的结构设计

步骤1：输入网址：http://www.zuihaodaxue.cn/robots.txt查看网址是否有robots协议（最好大学网无此协议，可直接爬取）
步骤2：从网络上获取大学排名网页内容 getHTMLText()
步骤3：提取网页内容中信息到合适的数据结构 fillUnivList()
步骤4：利用数据结构展示并输出结果 printUnivList()

“中国大学排名定向爬虫”实例编写

#中国大学排名定向爬虫
from bs4 import BeautifulSoup
import bs4
import requests
#从网络获取大学排名网友内容
def getHTMLText(url):
    try:
        r=requests