预览:
功能描述:
输入:大学排名URL链接(这里网址为:http://www.zuihaodaxue.cn/zuihaodaxuepaiming2016.html)
输出:大学排名信息的屏幕输出(排名,大学名称,总分)
定向爬虫:仅对输入的URL进行爬取,不扩展爬取
程序的结构设计:
步骤1:从网络上获取大学排名网页内容
步骤2:提取网页内容中信息到合适的数据结构(从上图可以看出,存储为二维数据结构)
步骤3:利用数据结构展示并输出结果
代码如下:
import requests
from bs4 import BeautifulSoup
import bs4
def getHTMLText(url):
try:
r = requests.get(url,timeout = 30)
r.raise_for_status()
r.encoding = r.apparent_encoding
return r.text
except:
return ""
def fillUnivList(ulist,html):
soup = BeautifulSoup(html,"html.parser")
for tr in soup.find('tbody').children:
if isinstance(tr,bs4.element.Tag):
tds = tr('td')#等价于tds = tr.find_all('td')
ulist.append([tds[0].string,tds[1].string,tds[3].string])
def printUnivList(ulist,num):
#代码优化
tplt = "{0:^8}\t{1:{3}^10}\t{2:<10}"
#print("{:<10}\t{:<14}\t{:<10}".format("排名","学校名称","总分"))
print(tplt.format("排名","学校名称","总分",chr(12288)))
for i in range(num):
u=ulist[i]
print(tplt.format(u[0],u[1],u[2],chr(12288)))
#print("Suc"+str(num))
def main():
uinfo = []
url = "http://www.zuihaodaxue.cn/zuihaodaxuepaiming2016.html"
html = getHTMLText(url)
fillUnivList(uinfo,html)
printUnivList(uinfo,20) #只打印20个大学的信息
main()
解释一波:
爬取前首先要了解一下网页的源代码:
我们观察到,所有的大学信息,都封装在一个表格中,表格的标签叫tbody。在tbody中,每一个大学的信息又被封装一个标签中,这个标签叫tr。每个tr中的信息,又被td所包围。所以首先找到tbody,找到所有大学的信息;在找到tr,找到每个大学信息;在找到td,将我们所需要的信息,添加到二维列表中。这样就完成了信息提取工作。
当然了,爬取一个网站或者网页之前,首先要看robots协议:
没有,是可以进行爬取的。
爬取和提取工作做完之后,就是打印输出工作了,这里用到了python中的format函数。
输出的时候可能会遇到中文对齐的问题,出现的主要原因是:当中文字符宽度不够时,采用西文字符填充,但是中西文字符占用宽度不同。
解决方法:采用中文字符的空格填充chr(12288)。具体操作可以看下上面的代码。