爬虫100个Python例子优化

svygh123

已于 2024-06-01 15:43:12 修改

阅读量497

点赞数

分类专栏：问题解决过程 python 爬虫文章标签： python 开发语言爬虫网络爬虫

于 2024-05-26 00:00:03 首次发布

本文链接：https://blog.csdn.net/svygh123/article/details/139205771

版权

问题解决过程同时被 3 个专栏收录

26 篇文章 0 订阅 ¥99.90 ¥299.90

订阅专栏

超级会员免费看

python

62 篇文章 0 订阅

订阅专栏

爬虫

10 篇文章 0 订阅

订阅专栏

本文讲述了如何使用Python爬虫快速抓取在线资源中的100个Python示例代码，通过优化，将原本耗时的过程缩短至13分钟，详细记录了遇到动态内容的问题及解决方案。

摘要由CSDN通过智能技术生成

今天看到一个Python 100例的在线资源，感觉每个都需要去点，太费时间了，于是，使用Python将数据爬取下来，方便查看。实际效果如下：

。。。。。。

用了13分钟，当然，这是优化后的效果，如果没有优化，需要的时间更长。

爬取url如下：

https://www.runoob.com/python/python-exercise-example{}.html

起初代码如下：

import requests
from lxml import etree
import os
import time

headers = {  
    'User-Agent': "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_14_6) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.129 Safari/537.36",  
}

url = "https://www.runoob.com/python/python-exercise-example{}.html"

de