使用bs4爬取软科大排名并保存在数据库

  1.使用bs4爬取软科大排名，首先我们要使用到三个库文件，requests库、bs4和pymysql；

  2.获取网页

#获取网页
def getHTMLText(url):#获取URL信息，输出内容
    try:
        r = requests.get(url,timeout = 30)
        r.raise_for_status()
        r.encoding = r.apparent_encoding
        return r.text
    except:
        return""

3.解析网页，在开发者模式中我们发现所有需要的信息都在tbody下面，所以我们先遍历tobody子节点，获取到我们想要的a、tr和td，再通过string方式找到想要的元素。

#解析网页
def parser(html):
    soup = BeautifulSoup(html,"lxml")#将页面中的元素获取为一个soup对象
    for tr in soup.find('tbody').children: 
        if isinstance(tr,bs4.element.Tag):#如果tr标签的类型不是bs4库中定义的tag类型，则过滤掉
            a = tr('a')#将所有的tr标签存为一个列表类型
            tds = tr('td')#将所有的td标签存为一个列表类型
            ulist.append([
            a[0].string.strip(),
            tds[2].text.strip(),
            tds[3].te