![](https://img-blog.csdnimg.cn/20201014180756930.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
爬虫
文章平均质量分 85
z_xiaochuan
这个作者很懒,什么都没留下…
展开
-
快速掌握多进程,循序渐进解析多进程,生动讲解多进程的原理以及使用
多进程(process) 怎么理解进程? 在电脑中,启动一个软件,系统就会分配一个进程 在代码中,写好的代码没有运行之前称之为程序,运行的时候就是一个进程 以前写的代码都只有一个主进程,需要通过主进程来创建其他的子进程 进程创建 ...原创 2018-11-05 20:31:30 · 199 阅读 · 0 评论 -
线程是什么?线程和进程的区别,怎么最好的理解使用和快熟掌握多线程?多线程的各种坑以及多线程锁的简介和使用
多线程(thread) 如何理解线程? 比如在qq里面,可以同时语音和视频,在word里面,可以同时打字、拼写检查 这些同时执行的就可以理解为线程 多任务-多进程、多线程 进程和线程的区别 (1)线程属于进程,一个线程只能属于一个进程,一个进...原创 2018-11-05 20:42:26 · 222 阅读 · 0 评论 -
Python中进程 线程 协程 锁 的各种问题大揭秘,12个问题大总结...
任何计算机语言都离不开进程线程以及协程的话题,那么今天我们来聊聊Python的进程,线程以及协程是怎么样运行的,以及锁结构的各种类型,还有最重要的是解密各种遇到的问题!!! 那么下面咱们就直入正题吧! 1. 谈谈对多进程多线程以及协程的理解 进程: 一个运行的程序(代码)就是一个进程,没有运行的代码叫程序,进程是系统资源分配的最小单位,进程拥有自己...原创 2018-11-24 20:40:17 · 803 阅读 · 1 评论 -
多线程爬取爱上租公寓数据
现在大家都喜欢用Scrapy框架爬取网站,因为Scrapy框架集成了很多功能,而且底层用了twisted 非阻塞异步框架,提供了多线程爬虫功能,那么我们如何实现不用框架也能快速高效的爬取网站呢? 那么今天我就跟大家分享一个办法吧!今天给大家分享的是采用 多线程 + 生产者消费者模式来构建的爬虫代码,不过为的是给大家分享,便于理解我给大家简单用面向过程写的代码,如果有朋友想要面向对象的代码可以在...原创 2018-12-07 16:56:59 · 340 阅读 · 1 评论 -
selenium爬取魔方公寓, 利用鼠标中轴滚动动态拿到魔方公寓评论数据
最近看到有兄弟们爬取魔方公寓受阻了,虽然能爬取房源信息但是爬取不到评论信息,而且接口是加密的, 用selenium的模拟滚动条滚动也不能让评论下翻,最后只能拿到十几条数据,读者最后试了几遍, 用了很多方法都没法实现,但是最后还是被小编攻破了, 一起来看一下吧! 首先我是按照常规写法, 模拟滚动条滚动,但是最后得到的却是主页面的滚动而评论页纹丝不动, 后来发现评论页原来整体是...原创 2018-12-06 11:13:02 · 343 阅读 · 0 评论 -
python爬取天猫评论并制作词云, 用Scrapy+ selenium实现
前一段时间爬取了天猫某些商品的评论数据并进行轻度处理,今天就跟大家聊聊见解吧!话不多说直接开始:大家都知道淘宝天猫作为国内最大的电商平台之一, 它对网站的加工是极好的,网站的配置也是非常完美的,其中就包括了反爬虫的设计. 淘宝的登录页面是可以检测selenium操作的,所以用selenium模拟登录是不可行的,只要你用selenium模拟登录不管怎么样都是失败的.但是我们可以带cookie...原创 2018-12-06 18:45:07 · 1254 阅读 · 0 评论