慕课实例Python爬虫中国大学排名爬虫总结与思考

过程分析
(1).首先在谷歌浏览器中提取头
在右下角的地方复制headers用作requests.get()里面的参数

(2).利用selector()可以直接得到标签的结构所属关系，此处在谷歌浏览器对 清华大学 名称进行检查，copy selector
具体步骤：
1.右击查看源代码
2.找到要提取的信息的标签，右击，选中检查
3.在右边的框里面右击选中copy selector
4.粘贴出来查看结果

selector的结果为
body > table > tbody > tr:nth-child(184) > td.line-content
此处可以清晰的看清楚要提取的信息的 所在位置 和 所属关系：
要提取的信息’清华大学’为td里面的内容,而td标签为tr标签的一个子标签。

(3)再结合网页的源代码整体的分析可以得知要
1.找到tbody,找tr,找td,要提取的信息刚好是第一个，第二个，第三个td
2.故使用 下行遍历 for循环soup.find().children
3.而为何不使用soup.findall()呢？因为再tbody外面也是有tr标签的

from bs4 import BeautifulSoup
import requests
import bs4

def get_html(url):
    '''获取网页的html源代码的文本字符串'''
    try:
        kv = {'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.110 Safari/537.36'}  # 设立头，提高爬取成功率
        r = requests.get(url, headers=kv, timeout=30)
        r.raise_for_status()
        r.encoding = r.apparent_encoding
        return r.text
    except:
        return ""

def write_data(mylist, html):
    '''解析其源代码，并提取出信息，注意信息展现形式是表格形式，所以数据结构用二维列表'''
    soup = BeautifulSoup(html, "html.parser")
    '''此处为何不可用findall()函数呢，因为tr在tbody之外也存在
    而要提取的信息是tbody里面的tr里面的td'''
    for tr in soup.find('tbody').children:  # find, .children只会返回一个，是迭代类型，要循环遍历
    	if isinstance(tr, bs4.element.Tag):  # 检查其是否为bs4.element,.Tag类型,因为tr可能为\n等操作符他们也会被提取出来
        	tds = tr('td')  # list = t('a')即返回一个bs4.element.ResultSet对象，网上说bs4.element.ResultSet对象是
        # bs4.element.Tag对象的一个链表，实际上，list = t('a')这种模式就是返回一个以'a'标签为元素的列表
		t = [tds[0].string, tds[1].string, tds[2].string]  # 为什么是.string，因为要提取的信息在 > 里面 <，是非属性字符串类型
		mylist.append(t)
		
def get_file(mylist, num):
    '''将结果写入文件'''
    for i in range(num):
        u = mylist[i]
        with open('D:/test.txt', 'a') as datas:  # 以追加模式写入文本文件
            print(u, file=datas)
            
 if __name__ == '__main__':  # 直接相当于一个main函数，同using namespace std?
    url = 'http://www.zuihaodaxue.com/zuihaodaxuepaiming2018.html'
    html = get_html(url)
    ilist = []
    write_data(ilist, html)
    get_file(ilist, 20)

热爱生活，热爱编程
文件的结果