![](https://img-blog.csdnimg.cn/20201014180756923.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
爬虫
YxinMiracle
这个作者很懒,什么都没留下…
展开
-
关于 Celery 的爬虫用法(京东爬虫)
文章目录前言简单任务讲解改进在celery里面执行的代码获取celery执行任务的结果代码:回顾总结京东爬虫前言 为什么会写这篇文章呢?因为最近在爬取京东的时候,很深刻的体会到了celery的实用之处,我们就拿爬取京东的实战代码,来讲解一个celery在爬虫的过程中的一些用法。 我们来情景引入一下,京东中有一些商品是非常多评论的,而我们在爬取评论的时候,难道们的程序就需要白白浪费在爬取评...原创 2020-04-25 22:22:35 · 1459 阅读 · 0 评论 -
06讲:python爬虫之多进程
文章目录前言1. 多进程的含义2.Python 多进程的优势3.多进程的实现 ①直接使用 Process 类 ②继承 Process 类 ③守护进程前言 在上一讲我们了解了多线程的基本概念,同时我们也提到,Python 中的多线程是不能很好发挥多核...原创 2020-03-17 09:25:36 · 337 阅读 · 0 评论 -
05讲:python爬虫之多线程
文章目录python爬虫之多线程1.前言2.多线程的含义3.并发和并行①并发,英文叫作 (concurrency)②并行,英文叫作 (parallel)4.多线程适用场景5.Python 实现多线程①Thread 直接创建子线程②继承 Thread 类创建子线程③守护线程6.互斥锁(解决线程不安全问题)7.Python 多线程的问题python爬虫之多线程1.前言我们知道,在一台计算机中,我...原创 2020-03-15 23:11:58 · 269 阅读 · 0 评论