学习中遇到许多问题有些问题现在还没搞明白,希望大神能指正
import requests
from bs4 import BeautifulSoup
import bs4
def gethtmltext(url):
try:
r=requests.get(url,timeout=30)
r.raise_for_status()
r.encoding=r.apparent_encoding
return r.text
except:
return""
#得到网页,爬取网页的基本模板
def filltext(ulist,html):
soup=BeautifulSoup(html,"html.parser")
for tr in soup.find("tbody").children:
if isinstance(tr,bs4.element.Tag):
tds=tr('td')#是soup.find_all()的缩写
ulist.append([tds[0].string,tds[1].string,tds[3].string])
#在网页代码中找到需要的信息
def printtext(ulist,num):
print("{:<10}\t{:<20}\t{:<10}".format("排名","学校名称","总分"))
for i in range(num):
u = ulist[i]
print("{:<10}\t{:<20}\t{:<10}".format(u[0],u[1],u[2]))
#格式
def main():
uinfo=[]
url="http://www.zuihaodaxue.com/zuihaodaxuepaiming2016.html"
html=gethtmltext(url)
filltext(uinfo,html)
printtext(uinfo,20)
#主函数
main()
#写这个爬虫碰到了很多问题,不知道为什么只要爬2017的就各种问题。
#这个.string是在beautifulsoup里面的一个模块,是提取出标签里面的文字!。
不太起清楚为什么会出现这个。