【题目】用urllib.request和BeautifulSoup库方法定向爬取给定网址( 【软科排名】2023年最新软科中国大学排名|中国最好大学排名 )的(一个页面的)数据,屏幕打印爬取的大学排名信息。
打印示例:
排名 学校名称 省市 学校类型 总分
1 清华大学 北京 综合 852.5
2……
编程思路
功能描述:
输入:大学排名url链接
输出:大学排名信息的屏幕输出(排名,学校名称,省市,学校类型,总分)
程序的结构设计:
1.从网络上获取大学排名网页内容:定义函数getHTMLText()
2.提取网页内容中信息到合适的数据结构:定义函数fillUnivList()
3.利用数据结构展示并输出结果:定义函数printUnivList()
网页分析:
数据结构:所用数据都封装在一个表格(标签tbody)中,单个学校信息在tr标签中,详细信息在td标签中
![](https://i-blog.csdnimg.cn/blog_migrate/eae9962633a8b8783fea9bc17989a997.png)
![](https://i-blog.csdnimg.cn/blog_migrate/6bbc755e98107eba17c2276433f4bd62.png)
爬取代码1(打印在屏幕上):
import requests # 方式1获取URL信息
import urllib.request # 方式2获取URL信息
from bs4 import BeautifulSoup
import bs4
# 从网络上获取大学排名网页内容。
def getHTMLText(url): # 获取URL信息,输出内容
# =========================方式1获取=========================
try:
res = requests.get(url) # 使用requests库爬取
res.raise_for_status() # 产生异常信息
res.encoding = res.apparent_encoding # 修改编码
return res.text # 返回网页编码
except Exception as err:
print(err)
# =========================方式2获取=========================
try:
req = urllib.request.Request(url)
# 打开URL网站的网址,读出二进制数据,二进制数据转为字符串
data = urllib.request.urlopen(req).read.decode()
return data
except Exception as err:
print(err)
# 提取网页内容中信息到合适的数据结构.
def fillUnivList(ulist, html): # 将html页面放到ulist列表中(核心)
# 解析网页文件(使用html解释器)
soup = BeautifulSoup(html, "html.parser")
# soup.prettify() # 把soup对象的文档树变换成一个字符串
# 数据结构:所用数据都封装在一个表格(标签tbody)中,单个学校信息在tr标签中,详细信息在td标签中
# 学校名称在a标签中,定义一个列表单独存放a标签内容
for tr in soup.find('tbody').children:
if isinstance(tr, bs4.element.Tag): # 如果tr标签的类型不是bs4库中定义的tag类型,则过滤掉
a = tr('a') # 把所用的a标签存为一个列表类型
tds = tr('td') # 将所有的td标签存为一个列表类型
ulist.append([tds[0].text.strip(), a[0].string.strip(), tds[2].text.strip(),
tds[3].text.strip(), tds[4].text.strip()])
# 使用strip()函数,它的作用是用于移除字符串头尾指定的字符(默认为空格或换行符)或字符序列
# 利用数据结构展示并输出结果:定义函数
def printUnivList(ulist1, num): # 打印出ulist列表的信息,num表示希望将列表中的多少个元素打印出来
# 格式化输出
tplt = "{0:^10}\t{1:^10}\t{2:^12}\t{3:^12}\t{4:^10}"
print(tplt.format("排名", "学校名称", "省份", "学校类型", "总分"))
for i in range(num):
u = ulist1[i]
print(tplt.format(u[0], u[1], u[2], u[3], u[4]))
def main():
uinfo = [] # 将大学信息放到列表中
url = "https://www.shanghairanking.cn/rankings/bcur/2020"
html = getHTMLText(url)
fillUnivList(uinfo, html)
printUnivList(uinfo, 30) # 一个界面的数据
if __name__ == '__main__':
main()
爬取结果如下:
![](https://i-blog.csdnimg.cn/blog_migrate/cf42bbce2d323f3fc99f99718c9abb9d.png)
爬取代码2(生成csv文件):
import urllib.request
import pandas as pd
from bs4 import BeautifulSoup
url = "http://www.shanghairanking.cn/rankings/bcur/2020"
if __name__ == "__main__":
c = urllib.request.urlopen(url).read().decode("utf-8")
soup = BeautifulSoup(c,'lxml')
sumL, L, count = [["排名", "学校名称", "省市", "学校类型", "总分"]], [], 0
for i in soup.select("td"):
if count == 5:
count = 0
sumL.append(L.copy())
L.clear()
continue
elif count == 1:
L.append(i.a.text.strip())
else:
L.append(i.text.strip())
count += 1
data = pd.DataFrame(sumL).to_csv("./college.csv", index=False, header=False)
爬取结果如下:
![](https://i-blog.csdnimg.cn/blog_migrate/9f8028c305cefa1687c066471bd24520.png)
恭喜你成功突破第二章!失败只是成功的一部分,不要轻易放弃,勇往直前!
下一篇文章:3.1 网站树的爬起路径
实战源码:Python网络爬虫实战