ningmengjing_的博客

并发爬虫实例

每个线程默认有一个名字，尽管上面的例子中没有指定线程对象的name,但是python会自动为线程指定一个名字。当线程的run()方法结束时该线程完成。无法控制线程调度程序，但可以通过别的方式来影响线程调度的方式。确保了某段关键代码只能由一个线程从头到尾完整地执行阻止了多线程并发执行，包含锁的某段代码实际上只能以单线程模式执行，效率就大大地下降了由于可以存在多个锁，不同的线程有不同的锁，并试图获取对方持有的锁时，可能会造成死锁。Python的QueueFIFOQueueLIFO。

爬虫的数据存储方法，以及一些案例

爬虫的几种数据提取方式

作用：发送网络请求，返回响应数据。对于爬虫任务，使用 requests 模块基本能够解决绝大部分的数据抓取的任务。所以用好 requests 至关重要。

网络爬虫（又被称为网页蜘蛛，网络机器人）就是模拟浏览器发送网络请求，接收请求响应，一种按照一定的规则，自动地爬取互联网信息的程序。原则上，只要是浏览器（客户端）能做的事情，爬虫都能够做。1.2 如何获取爬虫程序下载其他公司开发的通用爬虫（八爪鱼）开发人员自己编写。