【爬虫】爬取大学排名信息

爬取大学排名信息实验报告

一、概述

爬虫是一组客户端程序，它的功能是访问web服务器，从服务器中获取网页数据。本次实验是使用urllib.request和BeautifulSoup 库方法定向爬取给定网址的数据，通过解析数据，在屏幕打印出爬取到的大学排名信息。

二、主体

1.本次实验可分为四部分进行，分别为获取网页信息、解析网页数据、打印网页信息、运行主程序。

2.导入urllib.request程序包、bs4文件包以及BeautifulSoup库。

3.获取网页信息

• 定义函数getHTMLText获取网页信息，给定url地址:

def getHTMLText(url):
url = "“https://www.shanghairanking.cn/rankings/bcur/2020”

• 使用urllib.request程序包访问并打开url的网址:

req = urllib.request.Request(url)
data = urllib.request.urlopen(req)

• 读取网页数据信息：

data = data.read()

• 将网页中的二进制数据转换为字符串，转换编码为 UTF-8：

data = data.read().decode()

• 整体代码如下：
  

4.解析网页数据

• 定义函数fillUnivList解析网页数据：

def fillUnivList(list, html):

• 创建BeautifulSoup对象soup,并通过html进行解析：

soup = BeautifulSoup(html, “html.parser”)

• 使用soup.find()方法查找标签：

for tr in soup.find(‘tbody’).children:

• 定义列表单独存储标签：

a = tr(‘a’)
tds = tr(‘td’)

• 使用strip()函数，移除字符串头尾指定的字符：

list.append([tds[0].text.strip(), a[0].string.strip(), tds[2].text.strip(),
tds[3].text.strip(), tds[4].text.strip()])

• 整体代码如下：
  

5.打印网页数据

• 定义函数printUnivList打印输出结果：

def printUnivList(list1, num):

• 格式化输出数据：

  tplt = “{0: ^10}\t{1: ^10}\t{2: ^12}{3: ^10}\t{4: ^10}”
  print(tplt.format(“排名”, “学校名称”, “省份”, “学校类型”, “总分”))

• 打印结果：

  for i in range(num):
  u = list1[i]
  print(tplt.format(u[0], u[1], u[2], u[3], u[4]))
  print()

• 统计打印结果：

  print(“以上共有记录” + str(num) + “条。”)

• 整体代码如下：
  

6.运行程序

• 定义函数main：

  def main():

• 定义列表：

  uinfo = []

• url地址：

  url = “https://www.shanghairanking.cn/rankings/bcur/2020”

• 调用函数：

html = getHTMLText(url)
fillUnivList(uinfo, html)
printUnivList(uinfo, 30)

• 整体代码如下：
  
• 运行结果如下：

30条记录:

前10条记录：

三、总结

通过本次实验，我将学习到的理论知识落实在实践上，加深了我对urllib.request和BeautifulSoup 库方法的理解，学习了程序包爬取数据的使用方法，了解了BeautifulSoup处理数据的过程。通过运用两种库方法，我成功爬取到给定网址上的大学排名信息，并顺利打印在屏幕上。