python项目(3)--bs4应用

#作者：shelbi
from bs4 import BeautifulSoup
import requests
from pyecharts import Bar    #进行可视化 pyecharts
ALL_DATA  = []            #定义一个空列表
def parse_page(url):
    headers = {
        'User-Agent':'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/86.0.4240.198 Safari/537.36'
    }
    response = requests.get(url , headers = headers)
    text = response.content.decode('utf-8')
    soup =BeautifulSoup(text , 'html5lib')#因为港澳台那页url网页程序并不规范 所以使用容错性更高的html5lib，但是速度比较
    conMidtab = soup.find('div' , class_ = 'conMidtab')  										#慢
    tables = conMidtab.find_all('table') #find_all其实是tag对象的方法，并不是属于beautifulsoup，所以可以直接通过tag
    for table in tables:				 #对象进行查询。所以conmidtab是tag对象， 所以可以直接.find_all查询
        trs = table.find_all('tr')[2:] #[2:]:代表从第三个tr开始进行爬取，原因分析网页程序发现第一个第二个tr为表格的表头
        for index , t