python在哪里写爬虫_Python编写知乎爬虫实践

爬虫的根本流程

收集爬虫的根本工作流程如下：起首拔取一部分精心遴选的种子URL

将种子URL参加义务队列

大年夜待抓取URL队列中掏出待抓取的URL，解析DNS，并且获得主机的ip，并将URL对应的网页下载下来，存储进已下载网页库中。此外，将这些URL放进已抓取URL队列。

分析已抓取URL队列中的URL，分析个中的其他URL，并且将URL放入待抓取URL队列，大年夜而进入下一?轮回。

解析下载下来的网页，将须要的数据解析出来。

数据持久话，保存至数据库中。

爬虫的抓取策略

在爬虫体系中，待抓取URL队列是很重要的一部分。待抓取URL队列中的URL以什么样的次序分列也是一个很重要的问题，因为这涉及到先抓取那个页面，后抓取哪个页面。而决定则些URL分列次序的办法，叫做抓取策略。下面重点介绍几种常见的抓取策略：

深度优先策略(DFS)

后续应用日记模块记录爬取日记和缺点日记

分布式义务队列和分布式爬虫

深度优先策略是指爬虫大年夜某个URL开端，一个链接一个链接的爬取下去，直到处理完了某个链接地点的所有线路，才切换到其它的线路。

此时抓取次序为：A -> B -> C -> D -> E -> F -> G -> H -> I -> J广度优先策略(BFS)

宽度优先遍历策略的根本思路是，将新下载网页中发明的链接直接插入待抓取URL队列的末尾。也就是指收集爬虫会先抓取肇端网页中链接的所有网页，然后再选择个中的一个链接网页，持续抓取在此网页中链接的所有网页。

懂得了爬虫的工作流程和爬取策略后，就可以着手实现一个爬虫了!那么在python里怎么实现呢?

技巧栈requests 人道化的请求发送

Bloom Filter 布隆过滤器，用于判重

XPath 解析HTML内容

murmurhash

Anti crawler strategy 反爬虫策略

MySQL 用户数据存储

根本实现

下面是一个伪代码import Queue

initial_page = "https://www.zhihu.com/people/gaoming623"

url_queue = Queue.Queue()

seen = set()

seen.insert(initial_page)

url_queue.put(initial_page)

while(True): #一向进行

if url_queue.size()>0:

current_url = url_queue.get()              #拿出队例中第一个的url

store(current_url)                         #把这个url代表的网页存储好

fornext_urlinextract_urls(current_url): #提取把这个url里链向的url

if next_url notinseen:

seen.put(next_url)

url_queue.put(next_url)

else:

break

如不雅你直接加工一下膳绫擎的代码直接运行的话，你须要很长的时光才能糯估消个知乎用户的信息，毕竟知乎有6000万月活泼用户。更别说Google如许的搜刮引擎须要趴下全网的内容了。那么问题涌如今哪里?

推荐阅读

前菜在我们应用Python的过程, 很多时刻会用到 + 运算, 例如:先来看看字节码:a = 1 + 2 print a # 输出 3 不但在加法中应用, 在字符串的拼接也同样发挥这重要的感化, 例如:a = 'abc' +>>>详细阅读

地址：http://www.17bianji.com/lsqh/35819.html