嵩天老师课程,爬取大学排名的练习扩展

对齐搞了好久(数据对齐,目录会调),不搞了,有大佬的话可以指点一下谢谢了

import requests
from bs4 import BeautifulSoup
import bs4

def getHTMLText(url):
     try:
          kv = {'user-agent': 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko)\
               Chrome/80.0.3987.132 Safari/537.36'}
          r = requests.get(url,timeout = 30,headers = kv)
          r.raise_for_status()
          r.encoding = r.apparent_encoding
          return r.text
     except:
          return "信息爬取失败"

def fillUnivlist(ulist,html):
     soup = BeautifulSoup(html,"html.parser")
     for tr in soup.find("tbody").children:
          if isinstance(tr,bs4.element.Tag):
               tds = tr("td")#等价于tds = tr.find_all("td")
               ulist.append([tds[0].string,tds[1].string,tds[2].string,tds[3].string,\
                             tds[4].string,tds[5].string,tds[6].string,tds[7].string,\
                             tds[8].string,tds[9].string,tds[10].string,tds[11].string])

def printUnivList(ulist,num):
     print("{0:^10}\t{1:{12}^20}\t{2:{12}<15}\t{3:{12}<10}\t{4:{12}<10}\t{5:{12}^10}\t{6:{12}<10}\t{7:{12}<10}\t\
          {8:{12}<10}\t{9:{12}<10}\t{10:{12}<10}\t{11:{12}<10}".format\
                ("排名","学校名称","地址","高考成绩得分","毕业生就业率","论文数量","论文质量","被引用论文","被引用学者"\
                 ,"企业科研经费(千元)","校企合作论文","技术转让收入(千元)",chr(12288)))
     for i in range(num):
          u = ulist[i]
          print("{0:^10}\t{1:{12}^20}\t{2:{12}<15}\t{3:{12}<10}\t{4:{12}<10}\t{5:{12}<10}\t\t{6:{12}<10}\t{7:{12}<10}\t\
          {8:{12}<10}\t{9:{12}<10}\t{10:{12}<10}\t{11:{12}<10}".format\
          (u[0],u[1],u[2],u[3],u[4],u[5],u[6],u[7],u[8],u[9],u[10],u[11],chr(12288)))
     print("Suc"+str(num))

def main():
     uinfo = []
     url = "http://www.zuihaodaxue.cn/zuihaodaxuepaiming2016.html"
     html = getHTMLText(url)
     fillUnivlist(uinfo,html)
     printUnivList(uinfo,20)

main()

运行结果:
在这里插入图片描述
在这里插入图片描述

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值