pyhton网络爬虫之实例爬虫

实力爬中国大学排名

有人的地方就有江湖，有大学的地方就有排名

我们要写一个程序 它能通过这个链接爬取大学排名，并能将大学排名屏幕输出

也就是说输入：url链接

输出：排名 大学名称 总分

技术路线：用到requests库和bs4库

定向爬虫：仅对所给的url进行爬取，而不进行扩展，爬取其他的url链接

程序的结构设计：

1.从网络上获取大学排名的网页内容-------------------getHTMLText()

2.提取网页内容中的信息到合适的数据结构-------------------fillUnivList()

3.利用数据结构展示并输出结果-------------------------printUnivList()

实例编写：

#由于实现了网络访问请求，所以要导入requests库 BeautifulSoup库

import requests

import BeautifulSoup 

#刚才引入了三个函数用来对应三个步骤，分别是getHTMLText(),fillUnivList()以及printUnivList()函数，下面我们定义一下这三个函数：