Python爬取扇贝Python必背词汇

一、需求分析

爬取网址：http://www.shanbay.com/wordlist/110521/232414/

需求：

获取所有的 python 词汇数据，形成字典，存储数据。

二、代码实现

#导入包
from urllib import request
from lxml import etree

#词汇表
words = []

def shanbei(page):
    url = "http://www.shanbay.com/wordlist/110521/232414/"
    print(url)
    rsp = request.urlopen(url)
    html = rsp.read()

    #解析html
    html = etree.HTML(html)
    tr_list = html.xpath("//tr")

    # 遍历每个tr元素，每一个tr对应一个单词和介绍
    for tr in tr_list:
        '''
        查相应的单词和介绍
        '''
        word = {}
        strong = tr.xpath('.//strong')
        if len(strong):
            # strip把找到的内容去掉空格
            name = strong[0].text.strip()
            word['name'] = name

        # 查找单词的释义
        td_content = tr.xpath('./td[@class="span10"]')
        if len(td_content):
            content = td_content[0].text.strip()
            word['content'] = content
        print(word)
        if word != {}:
            words.append(word)

if __name__ == '__main__':
    shanbei(2)

三、运行结果