- 博客(2)
- 收藏
- 关注
RSS订阅原创 Python基于类的多线程爬虫
一、为什么使用多线程爬虫？ 首先，单线程的执行程序是顺序执行的，下一个任务必须等待前一个执行完成才接着执行，如果前面发生阻塞，后面的操作不会继续执行。 要解决这个问题可以使用多线程，爬虫属于i/o操作，大批量的请求——响应过程中，阻塞消耗的时间会无限放大，如果爬取的数据很少， 需求量不大，可能无关紧要，但是一般爬虫爬取的数量都是比较大的，所以必须考虑这个阻塞的问题。使用多线程可以有效解决这个问题， 它可以充分利用cpu资源，提高cpu的使用率。 二、怎么使用多线程爬虫？ 两种方式：1.面向对象式
2021-05-10 23:04:07
209
1
原创 Linux一些常用命令
Linux的一些常用命令笔记 1.用户相关 useradd:添加用户 位置默认为根目的/home下 passwd：更改用户密码 userdel：删除用户 选项为-r表示为把用户和其目录一起删掉。 usermod：修改用户信息（包括用户名-l；用户所在的用户组-g；用户主目录-d；备注信息c；UIDu等。） 前提是切换到系统管理员root。 su：切换用户，高->低：不需要密码；低->高：需要密码。 2.其他常用 ifconfig:用于显示网络信息（ip，子网掩码，网关等）。 cd：切换当前目录。
2021-05-10 17:41:04
135
3
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人