爬虫初级三

定向爬虫实例——大学排名的数据

1.任务描述：输入是定向url  = “http://www.zuihaodaxue.cn/shengyuanzhiliangpaiming2018.html”       输出是大学排名数据

2.全部代码：

# 大学排名数据爬取
#输入：特定url
#输出：中国大学排名表

# 导入需要的三方库
import requests
from bs4 import BeautifulSoup
import bs4

# 获取指定网址的文本信息
def get_that_html(url):
    r = requests.get(url,timeout=30)
    r.encoding = r.apparent_encoding #基本必备的格式转换操作
    return r.text

#把得到http文件转换成我们需要的二维表格数据结构
def transfor_format(html):
    soup = BeautifulSoup(html,"html.parser") # 熬成库bs4能认识的的汤
    b = []
    for tr in soup.find('tbody').children: # 找到包含所有需要的信息的标签
        if isinstance (tr,bs4.element.Tag):# 把不是标签的字符标签类型过滤
            tds = tr('td') # 前面说过标签与数据是字典关系 这里把所有（因为叫‘td’的标签很多）的td标签对应的数据存入tds
            b.append([tds[0].string,tds[1].string,tds[2].string])
    return b
        

def print_data(data,num):#打印前num的大学名称
    print("{0:^10}\t{1:{3}^10}\t{2:^10}".format("排名","学校","所在省市",chr(12288))) # 打印表头
    for i in data[0:num+1]:
        print("{0:^10}\t{1:{3}^10}\t{2:^10}".format(i[0],i[1],i[2],chr(12288)))     # 注意对齐
# 主函数
def main():
    url = "http://www.zuihaodaxue.cn/shengyuanzhiliangpaiming2018.html"
    html = get_that_html(url)
    
    data = transfor_format(html)
    
    print_data(data,50)

# 运行主函数
main()

这里说一下输出格式.format()：

就是：print("输出的{序号 ：填充字符^ 10}内容加上{ 这个也是和前面一样}，里面可变的内容".format(   ,   ,  ,  ,)

现在是不是可以理解：

print("{0:^10}\t{1:{3}^10}\t{2:^10}".format("排名","学校","所在省市",chr(12288))) # 打印表头

这句了呢？