Python爬虫学习 6 —— 使用bs4库爬取大学排名

前面学了如何使用beautifulsoup，现在来尝试简单的爬取：中国大学排名

一、准备

查看Robots协议：robots协议
功能描述

输入：大学排名的url链接
输出：大学排名信息（排名，大学名称，总分）

实现思路

1. 从网页上获取HTML内容
2. 提取HTML内容中的有用信息到合适的数据结构
3. 利用数据结构展示输出结果

程序框架

1. 从网络上获取大学排名网页内容：getHTMLText()
2. 提取网页中信息到合适的数据结构：fillUnivList()
3. 利用数据结构展示结果：printUnivList()

---

二、爬取过程

代码框架

import requests, bs4
from bs4 import BeautifulSoup

def getHTMLText(url):
	return ""

def fillUnivList(ulist, html):
	pass

def printUnivList(ulist, num):
	pass

def main():
	uinfo = []
	url = "http://www.zuihaodaxue.com/zuihaodaxuepaiming2019.html"
	html = getHTMLText(url)
	fillUnivList(uinfo, html)
	printUnivList(uinfo, 10)

main()

获取HTML的函数

def getHTMLText(url):
	try:
		r = requests.get(url, timeout=30)
		r.raise_for_status()
		r.encoding = r.apparent_encoding
		return r.text
	except:
		return ""

提取信息并保存

def fillUnivList(ulist, html):
	soup = BeautifulSoup(html, "html.parser")
	for tr in soup.find("tbody").children:
		# 若tr类型不是bs4定义的标签，则过滤掉
		if isinstance(tr, bs4.element.Tag):
			tds = tr("td")
			ulist.append([tds[0].string, tds[1].string, tds[2].string])

输出排名信息

def printUnivList(ulist, num):
	tplt = "{0:^10}\t{1:{3}^10}\t{2:^10}"
	print(tplt.format("排名", "学校名称", "省份", chr(12288)))
	for i in range(num):
		u = ulist[i]
		print(tplt.format(u[0], u[1], u[2], chr(12288)))

这里使用了 format 函数设置输出格式，这个菜菜还不懂

---

三、爬取结果

输出结果如图：

    排名    	 学校名称　　　	    省份    
    1     	　　　清华大学　　　	    北京    
    2     	　　　北京大学　　　	    北京    
    3     	　　　浙江大学　　　	    浙江    
    4     	　　上海交通大学　　	    上海    
    5     	　　　复旦大学　　　	    上海    
    6     	　中国科学技术大学　	    安徽    
    7     	　　华中科技大学　　	    湖北    
    7     	　　　南京大学　　　	    江苏    
    9     	　　　中山大学　　　	    广东    
    10    	　哈尔滨工业大学　　	   黑龙江    

---

第六篇python爬虫学习笔记完结啦 cheers ??
参考内容：https://www.bilibili.com/video/av9784617/?p=33