Beatiful Soup的效率问题

最新推荐文章于 2021-03-25 10:53:52 发布

weixin_33868027

最新推荐文章于 2021-03-25 10:53:52 发布

阅读量226

点赞数

文章标签： python

原文链接：https://my.oschina.net/u/3009151/blog/836769

版权

2019独角兽企业重金招聘Python工程师标准>>>

今天刚看bs4的官方文档，说使用lxml作为解析器比使用内置解析器速度快很多，于是写了个函数测试了一下，但不知道为什么，测试跑出来的结果刚好相反，暂时未找到原因，先做下记录后续继续研究。

from bs4 import BeautifulSoup
import time
from wswp.WebScraping import download

def time_test():
    FIELDS = ('area', 'population', 'iso', 'country', 'capital', 'continent', 'tld', 'currency_code', 'currency_name', 'phone', 'postal_code_format', 'postal_code_regex', 'languages',  'neighbours')
    NUM_ITERATIONS = 1000 # number of times to test each scraper
    html = download('http://example.webscraping.com/view/Aland-Islands-2')
    start = time.time()
    for name in ['html.parser', 'lxml']:
        for i in range(NUM_ITERATIONS):
            result = {}
            soup = BeautifulSoup(html, name)
            for field in FIELDS:
                result[field]=soup.find('tr', id='places_%s__row' % field).find('td', class_='w2p_fw').text
            assert(result['area'] == '1,580 square kilometres')
        end = time.time()
        print('%s the time is: %.2f seconds' % (name, (end - start)))

time_test()

转载于:https://my.oschina.net/u/3009151/blog/836769