定向爬虫实例——大学排名的数据
1.任务描述:输入是定向url = “http://www.zuihaodaxue.cn/shengyuanzhiliangpaiming2018.html” 输出是大学排名数据
2.全部代码:
# 大学排名数据爬取
#输入:特定url
#输出:中国大学排名表
# 导入需要的三方库
import requests
from bs4 import BeautifulSoup
import bs4
# 获取指定网址的文本信息
def get_that_html(url):
r = requests.get(url,timeout=30)
r.encoding = r.apparent_encoding #基本必备的格式转换操作
return r.text
#把得到http文件转换成我们需要的二维表格数据结构
def transfor_format(html):
soup = BeautifulSoup(html,"html.parser") # 熬成库bs4能认识的的汤
b = []
for tr in soup.find('tbody').children: # 找到包含所有需要的信息的标签
if isinstance (tr,bs4.element.Tag):# 把不是标签的字符标签类型过滤
tds = tr('td') # 前面说过标签与数据是字典关系 这里把所有(因为叫‘td’的标签很多)的td标签对应的数据存入tds
b.append([tds[0].string,tds[1].string,tds[2].string])
return b
def print_data(data,num):#打印前num的大学名称
print("{0:^10}\t{1:{3}^10}\t{2:^10}".format("排名","学校","所在省市",chr(12288))) # 打印表头
for i in data[0:num+1]:
print("{0:^10}\t{1:{3}^10}\t{2:^10}".format(i[0],i[1],i[2],chr(12288))) # 注意对齐
# 主函数
def main():
url = "http://www.zuihaodaxue.cn/shengyuanzhiliangpaiming2018.html"
html = get_that_html(url)
data = transfor_format(html)
print_data(data,50)
# 运行主函数
main()
这里说一下输出格式.format():
就是:print("输出的{序号 :填充字符^ 10}内容加上{ 这个也是和前面一样},里面可变的内容".format( , , , ,)
现在是不是可以理解:
print("{0:^10}\t{1:{3}^10}\t{2:^10}".format("排名","学校","所在省市",chr(12288))) # 打印表头
这句了呢?