![](https://img-blog.csdnimg.cn/20201014180756913.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
爬虫
文章平均质量分 53
沉~迷 -T
在工作中学习,在困难中进步,希望多多指教,多多包涵。
展开
-
多线程、多进程、协程的区别
CPU密集型也叫计算机密集型, 是指 I/O 在很短的时间就可以完成,CPU需要大量的计算和处理,特点是 CPU 占用率相当高。IO密集型指的是系统运作大部分的状况是CPU在等IO(硬盘/内存)的读/写操作,CPU占用率任然较低。例如: 压缩解压缩、加密解密、正则表达式搜索、计算圆周率,判断素数、视频解码等。-适用于:IO密集型计算、需要超多任务运行、但有现成库的场景。例如:文件处理程序、网络爬虫程序、读写数据库程序、数据库、web应用等。-适用于:IO密集型计算、同时运行的任务数目要求不多。...原创 2022-08-17 11:40:35 · 613 阅读 · 1 评论 -
Python爬虫的多线程使用方法
多线程原创 2021-12-29 11:16:12 · 1853 阅读 · 0 评论 -
Python图片网站进行本地下载
图片地址:Random Wallpapers - wallhaven.cc1. 首先对图片页面进行分析,2. 进行判断分页情况下的路由拼接3.可以添加一些headers、Cookie等反爬技术4.用xpath找到第一层小图片节点,5.进行获取路由的判断和异常捕获6.再次进行请求解析路由,获取当前路由下大图片的图片链接。7.对获取的链接进行下载本地8.代码编写如下:from lxml import etreeimport requestsn = 0for...原创 2021-12-13 21:16:14 · 1483 阅读 · 0 评论