爬虫进阶课
爬虫进阶课
knightchan
这个作者很懒,什么都没留下…
展开
-
Python爬虫进阶第一课:进程,线程的初步了解
一、进程 程序并不能单独和运行只有将程序装载到内存中,系统为他分配资源才能运行,而这种执行的程序就称之为进程。程序和进程的区别在于:程序是指令的集合,它是进程的静态描述文本;进程是程序的一次执行活动,属于动态概念。 例如我们写一个hello程序,当这个程序再操作系统上运行的时候,操作系统会给我们一种假象,好像系统上就这一个程序在运行。程序看上去是独占的使用处理器,主存,和IO设备,处理器看上去就像在不间断的执行程序中的指令,即该程序的代码和数据是操作系统内存中唯一的对象。这其实就是通过进程实现的。 进程的概原创 2020-09-25 16:34:44 · 191 阅读 · 0 评论 -
Python爬虫进阶第二课:关于深度优先和广度优先
深度优先算法和实现 广度优先算法和实现 在爬虫系统中,待抓取URL队列是很重要的一部分,待抓取URL队列中的URL以什么样的顺序排队列也是一个很重要的问题,因为这涉及到先抓取哪个页面,后抓取哪个页面。而决定这些URL排列顺序的方法,叫做抓取策略。下面是常用的两种策略:深度优先、广度优先 深度优先 深度优先是指网络爬虫会从起始页开始,一个链接一个链接跟踪下去,处理完这条线路之后再转入下一个起始页,继续追踪链接,通过下图进行理解: 注:scrapy默认采用的是深度优先算法 这里是深度优先,所以这里的爬.原创 2020-09-19 19:21:06 · 582 阅读 · 0 评论