爬虫day7多线程和多进程

爬虫day7多线程和多进程

一、什么是线程和进程

1、什么是进程

一个正在运行的应用程序就是一个进程。

每一个进程均运行在其专用且受保护的内存(运行内容)中

2、什么是线程

线程是进程执行任务的基本单元。

进程要做什么事情，或者要干什么活必须要有线程。

3、线程的特点

如果要在一个线程中执行多个任务，任务是串行执行（一个一个的按照顺序执行）

4、多线程

默认情况下一个进程只有一个线程(一个工厂只有一个工人)，多线程指的是在一个进程中有多个线程（一个工厂有多个工人）。
多线程执行不同的任务可以并行(同时)执行。
注意：多线程可以提高程序执行效率，但不是线程越多越好。（计算机一般的应用程序不要超过100个，爬虫可以到达200到300个）

二、多线程

from threading import Thread, current_thread
from datetime import datetime
import time

1、主线程和子线程

一个进程默认只有一个线程，这个线程叫主线程。除了主线程以外的线程都叫子线程。

如果进程中需要子线程，只能自己创建（创建线程类或者线程类的子类对象）。

print(current_thread()) 

def download(name):
    print(f'{name}开始下载:{datetime.now()}')
    time.sleep(2)
    print(f'{name}下载结束:{datetime.now()}')


# 2. 单线程的串行
# download('午夜凶铃')
# download('上海堡垒')
# download('沉默的羔羊')

# 3.创建三个子线程，下载三部电影
# 1)1)创建线程对象
"""
创建线程对象，并且分配线程任务:  Thread(*, target, args)
target  -  需要在子线程中调用的函数，需要给一个普通函数的函数名(代表任务)
args  -  在子线程中调用target对应的函数的时候需要的参数对应的元组。
         如果需要一个实参，元组就给一个元素，如果需要两个实参，元组就给两个元素，...
"""
t1 = Thread(target=download, args=('午夜凶铃',))
t2 = Thread(target=download, args=('上海堡垒',))
t3 = Thread(target=download, args=('沉默的羔羊',))

# 2)启动线程: 线程对象.start()
t1.start()
t2.start()
t3.start()

三、图虫图片异步下载

from selenium.webdriver import Chrome
import time
f