python爬虫
低调的小犬_Hansen
心领神会
展开
-
python爬虫之协程
协程是什么我们知道每台计算机都靠着CPU(中央处理器)干活。在过去,单核CPU的计算机在处理多任务时,会出现一个问题:每个任务都要抢占CPU,执行完了一个任务才开启下一个任务。CPU毕竟只有一个,这会让计算机处理的效率很低。为了解决这样的问题,一种非抢占式的异步技术被创造了出来,这种方式叫多协程(在此,多是多个的意思)。它的原理是:一个任务在执行过程中,如果遇到等待,就先去执行其他的任...原创 2019-08-02 18:18:52 · 222 阅读 · 0 评论 -
python爬虫之scrapy框架的使用
以前我们写爬虫,要导入和操作不同的模块,比如requests模块、gevent库、csv模块等。而在Scrapy里,你不需要这么做,因为很多爬虫需要涉及的功能,比如麻烦的异步,在Scrapy框架都自动实现了我们之前编写爬虫的方式,相当于在一个个地在拼零件,拼成一辆能跑的车。而Scrapy框架则是已经造好的、现成的车,我们只要踩下它的油门,它就能跑起来。这样便节省了我们开发项目的时间。===...原创 2019-08-02 23:47:55 · 776 阅读 · 1 评论 -
python爬虫-安装scrapy(并解决安装时候的问题)
要使用scrapy这个框架,首先是安装scripy,但是直接使用pip install scripy出现安装不上去,并出现如下界面,不用担心,我们看看有什么办法可以解决!解决办法:第⼀步:下载一个与操作系统版本对应的 Twisted 再去安装就好了了 https://www.lfd.uci.edu/~gohlke/pythonlibs/ 这是下载地址cp后面的数字是你的 python...原创 2019-07-23 17:07:39 · 396 阅读 · 0 评论 -
python爬虫之结合selenium也讲一下xpath的使用
在以前,我们使用id,class进行定位,而这里,我们使用xpath进行定位!首先我们打开腾讯视频网,然后观察下面图片,找到自己想要的xpath定位。我们复制xPath的到这样一个代码://*[@id="keywords"] 这个就是我们定位的结果接下来改写一句话 videosearch = driver.find_element_by_xpath('//*[@id=\"key...原创 2019-08-03 16:23:34 · 441 阅读 · 0 评论