python并发打开网页_python并发_线程

关于进程的复习：

# 管道

# 数据的共享 Manager dict list

# 进程池

# cpu个数+1

# ret = map(func,iterable)

# 异步 自带close和join

# 所有结果的[]

# apply

# 同步的:只有当func执行完之后,才会继续向下执行其他代码

# ret = apply(func,args=())

# 返回值就是func的return

# apply_async

# 异步的:当func被注册进入一个进程之后,程序就继续向下执行

# apply_async(func,args=())

# 返回值 : apply_async返回的对象obj

# 为了用户能从中获取func的返回值obj.get()

# get会阻塞直到对应的func执行完毕拿到结果

# 使用apply_async给进程池分配任务,

# 需要先close后join来保持多进程和主进程代码的同步性

# 回调函数是在主进程中执行的

from multiprocessing import Pool

def func1(n):

return n+1

def func2(m):

print(m)

if __name__ == '__main__':

p = Pool(5)

for i in range(10,20):

p.apply_async(func1,args=(i,),callback=func2)

p.close()

p.join()

import requests

from urllib.request import urlopen

from multiprocessing import Pool

## 爬取字节数的例子：

def get(url):

response = requests.get(url)

if response.status_code == 200:

return url,response.content.decode('utf-8')

# def get_urllib(url):

# ret = urlopen(url)

# return ret.read().decode('utf-8')

def call_back(args):

url,content = args

print(url,len(content))

if __name__ == '__main__':

url_lst = [

'https://www.cnblogs.com/',

'http://www.baidu.com',

'https://www.sogou.com/',

'http://www.sohu.com/',

]

p = Pool(5)

for url in url_lst:

p.apply_async(get,args=(url,),callback=call_back)

p.close()

p.join()

线程：

import os

import time

from threading import Thread

## 多线程并发

# def func(a, b):

# n = a + b

# print(n, os.getpid()) # 都在一个进程中

#

# print('主线程', os.getpid()) # 都在一个进程中

#

# for i in range(10):

# t = Thread(target=func, args=(i, 6))

#