![](https://img-blog.csdnimg.cn/20201014180756919.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Python
weixin_39508304
这个作者很懒,什么都没留下…
展开
-
线程、线程返回值接收、线程锁
##如有错误,欢迎大家指正!cpu:准许一个线程在其上工作内存:多个线程可以共享内存数据,如果涉及到使用相同的数据加个锁会保证数据的准确性。爬虫:因为数据是不共享的,所以加不加锁无所谓,实践证明在不加线程锁的时候速度会更快。cpu:对于cpu密集型任务,应该考虑用多进程,multiprocessing。实践:1.引入模块与包:2,线程3.接收线程返回值的类:4,线程锁:...原创 2018-04-03 11:51:44 · 192 阅读 · 0 评论 -
上万待爬虫的网页,速度慢怎么办——线程与进程!
爬虫基础:爬虫包括请求、提取和保存三个部分,这时候的这个爬虫有了能爬能存的能力。弱势:①爬虫本身健壮性并不高,有很多情况不一定考虑到;②爬虫爬的很慢,效率很低;③防反爬能力不强,容易被Ban掉针对:②爬虫爬的很慢,效率很低;解决策略——多进程and多线程强补: 进程(Process)是程序关于某数据集合上的一次运行活动,是系统资源分配和调度的基本单位,操作系统结构的基础。在当代面向线...原创 2018-03-28 12:15:50 · 4374 阅读 · 0 评论 -
简单线程
知识累积,初次使用,收集一些简单好懂得知识。1,使用线程的好处1.1没有使用进程输出的结果(串行执行):1.2使用线程输出结果(并行执行,以最长的那个线程时间为准):2.传递参数的进程:...转载 2018-03-28 12:16:58 · 105 阅读 · 0 评论