中国大学moocpython笔记_中国大学MOOC —— 学习笔记（二）

注：本文仅是个人的学习笔记，内容来源于中国大学mooc《Python网络爬虫与信息提取》课程

一 信息标记与提取方法

信息标记三种方式：

XML　　  <>...>

JSON　　有类型键值对：key:value

YAML　　无类型键值对：key:value

信息提取的一般方法：

<>.find_all()

(...)等价于.find_all(...)

soup(...)等价于soup.find_all(...)

二 中国大学排名定向爬取

Google 浏览器审查元素时按Ctrl + f 可以调出搜索框。

目标链接：http://www.zuihaodaxue.com/zuihaodaxuepaiming2017.html

功能描述：

输入大学的url，输出大学信息。

定向爬虫：仅对输入url进行爬虫，不扩展爬取。

代码演示：

importrequestsimportbs4from bs4 importBeautifulSoupdefgetHtmlText(url):try:

r=requests.get(url)"""如果发送了一个错误请求(一个 4XX 客户端错误，或者 5XX 服务器错误响应)，

我们可以通过Response.raise_for_status() 来抛出异常"""r.raise_for_status()

r.encoding=r.apparent_encodingreturnr.textexcept:return " "

deffillUnivList(ulist,html):

soup= BeautifulSoup(html,'lxml')#注1

for tr in soup.find('tbody').children:ifisinstance(tr,bs4.element.Tag):

tds= tr('td')

ulist.append([tds[0].string,tds[1].string,tds[3].string])defprintUnivList(ulist,num):print("{:^10}\t{:^6}\t{:^10}".format("排名","学校名称","总分"))#注2

for i inrange(num):

u=ulist[i]print("{:^10}\t{:^6}\t{:^10}".format(u[0],u[1],u[2]))defmain():

uinfo=[]

url= "http://www.zuihaodaxue.cn/zuihaodaxuepaiming2017.html"html=getHtmlText(url)

fillUnivList(uinfo,html)

printUnivList(uinfo,20)

main()

printUnivList函数优化后的代码：

defprintUnivList(ulist,num):

tplt= "{0:^10}\t{1:{3}^10}\t{2:^10}"

print(tplt.format("排名","学校名称","所在地区",chr(12288)))for i inrange(num):

u=ulist[i]print(tplt.format(u[0],u[1],u[2],chr(12288)))

三 中文对齐的方法