本文介绍了Python爬虫的工作原理，强调了爬虫核心的逻辑抽象，即如何策略性地遍历网页。文章指出Python解释器如何处理源代码，并讨论了广度优先和深度优先遍历在爬虫中的应用。通过实例，阐述了如何避免重复访问、数据抽取以及并发下载。最后，提到了面对封锁时的应对策略，并探讨了Python在不同领域的应用，如web开发、自动化和数据分析。
Python(发音：英[?pa?θ?n]，美[?pa?θɑ:n])，是一种面向对象、直译式电脑编程语言，也是一种功能强大的通用型语言，已经具有近二十年的发展历史，成熟且稳定。它包含了一组完善而且容易理解的标准库，能够轻松完成很多常见的任务。它的语法非常简捷和清晰，与其它大多数程序设计语言不一样，它使用缩进来定义语句。
Python支持命令式程序设计、面向对象程序设计、函数式编程、面向切面编程、泛型编程多种编程范式。与Scheme、Ruby、Perl、Tcl等动态语言一样，Python具备垃圾回收功能，能够自动管理存储器使用。它经常被当作脚本语言用于处理系统管理任务和网络程序编写，然而它也非常适合完成各种高级任务。Python虚拟机本身几乎可以在所有的作业系统中运行。使用一些诸如py2exe、PyPy、PyInstaller之类的工具可以将Python源代码转换成可以脱离Python解释器运行的程序。
最近看过不少讲爬虫的教程[1][2]，基本都是一个模式：
00001. 开始先来拿正则、lxml、jquery/pyquery等等教大家从页面上抠出一个一个的值来
00002. 然后深入一些在讲讲http 协议，讲讲怎么拿出 cookie 来模拟登录之类的，讲讲基本的反爬虫和反反爬虫的方法
00003. 最后在上一个 简单地 scrapy 教程，似乎就皆大欢喜了。
具体地采集一个一个的数据的确让人产生成就感，然而这些教程却都忽略了爬虫最核心的逻辑抽象，也就是「爬虫应该采取什么样的策略遍历网页」。其实也很简单，只需要两个队列和一个集合，Scrapy 等框架拆开来看也是如此，本文参照 Scrapy 实现一个
最低0.47元/天 解锁文章
9043
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
