python日记Day21——网络爬虫之BeautifulSoup库

python日记——网络爬虫之BeautifulSoup库

• BeautifulSoup库入门
  1、基本使用：
  
  2、BeautifulSoup库的基本元素
  （1）Beautiful Soup库是解析、遍历、维护“标签树”的功能库
  （2）Beautiful Soup库的解析器：
  
  （3）BeautifulSoup库的基本元素：
  
  1）任何存在于HTML语法中的标签都可以用soup.tag访问获得，当HTML文档中存在多个相同tag对应内容时，soup.tag返回第一个
  2）每个tag都有自己的名字，通过tag.name获取，字符串类型
  3）一个tag可以有0或多个属性，字典类型
  4）NavigableString可以跨越多个层次
  3、基于bs4库的HTML内容遍历方法
  （1）Html基本格式：
  
  （2）标签树的遍历方法：
  1）下行遍历：
  
  
  2）上行遍历：
  
  3）平行遍历：
  平行遍历发生在同一个父节点下的各节点间
  
  
  4、基于bs4库的HTML格式输出
  （1）bs4库的prettify()方法
  （2）.prettify()为HTML文本<>及其内容增加更加’\n’
  
  （3）.prettify()可用于标签，方法：tag.prettify()
  
  （4）bs4库将任何HTML输入都变成utf‐8编码，Python 3.x默认支持编码是utf‐8,解析无障碍
  
• 信息标记与提取方法
  1、信息标记的三种形式：
  （1）XML：
  
  
  （2）JSON：
  
  
  
  （3）YAML：
  
  
  
  
  2、三种形式的比较：
  XML：最早的通用信息标记语言，可扩展性好，但繁琐，Internet上的信息交互与传递
  JSON：信息有类型，适合程序处理(js)，较XML简洁，移动应用云端和节点的信息通信，无注释
  YAML：信息无类型，文本信息比例最高，可读性好，各类系统的配置文件，有注释易读
  3、基于bs4的HTML内容查找方法
  （1）<>.find_all(name, attrs, recursive, string, **kwargs)，返回一个列表类型，存储查找的结果
  tag(…) 等价于 tag.find_all(…)
  soup(…) 等价于 soup.find_all(…)
  （2）参数详解：
  ∙ name : 对标签名称的检索字符串
  ∙ attrs: 对标签属性值的检索字符串，可标注属性检索
  ∙ recursive: 是否对子孙全部检索，默认True
  ∙ string: <>…</>中字符串区域的检索字符串
  （3）扩展方法：
  
• 中国大学排名实例

#getHtml()：通过requests库获取大学排名网页内容
#fillList()：提取网页内容中信息到合适的数据结构
#printList()：输出排名、大学名称、总分
#saveToExcel()：将结果保存到excel
import requests as rq
from bs4 import BeautifulSoup
import pandas as pd
import bs4
def getHtml(url):
    try:
        r = rq.get(url,timeout=30)
        r.raise_for_status()
        r.encoding = r.apparent_encoding
        return r.text
    except:
        return ""
def fillList(ulist,html):
    soup = BeautifulSoup(html,'html.parser')
    for tr in soup.find('tbody').children:
        if isinstance(tr,bs4.element.Tag):
        #判断tr是否是tag类型，防止遍历到string
            tds = tr('td')
            #等同于tds = tr.find_all('td')
            ulist.append([tds[0].string,tds[1].string,tds[3].string])            
def printList(ulist,num):
    tplt = "{0:^10}\t{1:{3}^10}\t{2:^8}"
    print(tplt.format("排名","学校名称","总分",chr(12288)))
    #chr(12288)使中文对齐
    for i in range(num):
        u = ulist[i]
        print(tplt.format(u[0],u[1],u[2],chr(12288)
def saveToExcel(ulist):
     df = pd.DataFrame(ulist,columns=['排名','学校名称','总分'])
     df.to_excel('C:/Temp/school.xlsx')
     print("保存成功")
def main():
    uinfo = [] #用于存放内容
    url = "http://www.zuihaodaxue.com/Greater_China_Ranking2019_0.html"
    html = getHtml(url)
    fillList(uinfo,html)
    printList(uinfo,20)  
    saveToExcel(uinfo)
main()

本文部分内容参考于北京理工大学嵩天老师相关课程