Robots协议
网络爬虫的限制
来源审查:判断UserAgent进行限制
检查来访HTTP协议头的UserAgent域,只响应浏览器或友好爬虫的访问
发布公告:Robots协议
告知所有爬虫网站的爬取策略,要求爬虫遵守
Robots协议
Robots Exclusion Standard 网络爬虫排除标准
作用:网站告知网络爬虫哪些页面可以抓取,哪些不行
形式:在网站根目录下的robots.txt文件
Robots协议的遵守方式
网络爬虫使用Robots协议:
自动或人工识别robots.txt,再进行内容爬取
约束性:Robots协议是建议但非约束性,网络爬虫可以不遵守,但存在法律风险
中国大学排名定向爬虫实例介绍
网址:最好大学网
功能描述
输入:大学排名URL链接
输出:大学排名信息的屏幕输出(排名,大学名称,总分)
技术路线:requests bs4
定向爬虫:仅对输入URL进行爬取,不扩展爬取
程序的结构设计
步骤1:输入网址:http://www.zuihaodaxue.cn/robots.txt查看网址是否有robots协议(最好大学网无此协议,可直接爬取)
步骤2:从网络上获取大学排名网页内容 getHTMLText()
步骤3:提取网页内容中信息到合适的数据结构 fillUnivList()
步骤4:利用数据结构展示并输出结果 printUnivList()
“中国大学排名定向爬虫”实例编写
#中国大学排名定向爬虫
from bs4 import BeautifulSoup
import bs4
import requests
#从网络获取大学排名网友内容
def getHTMLText(url):
try:
r=requests