Python----协程

1.yield实现协程

协程又称为微线程. yield
进程在创建时， 需要耗费时间和资源，
线程在创建时， 需要耗费时间和资源，
协程运行过程中始终只有一个线程
协程优势：
    有较高的执行效率， 始终只有一个线程， 不存在创建线程和销毁线程需要的时间；
    也没有线程切换的开销， 任务需要开启线程数越多， 协程的优势越明显；
    不需要多线程的锁机制

import threading
import time
def producer(c):
    c.__next__()
    n = 0
    while n < 5:
        n += 1
        print("[生产者]生产数据: %s" %(n))
        res = c.send(n)
        print("[消费者的返回值为:%s" %(res))
def consumer():
    r = 'a'
    while True:
        n =  yield r
        if not n:
            return
        print("[消费者]运行%s....." %(n))
        time.sleep(1)
        r = '200 OK'
if __name__ == '__main__':
    print(threading.active_count())
    c = consumer()
    producer(c)
    print(threading.active_count())

运行结果：

2.gevent协程实现

由于切换是在IO操作时自动完成， 所以gevent需要修改python自带的一些标准库；
gevent提供了patch_*来对于标准库作修改;
import time
from gevent import monkey
import gevent
def job(n):
    for i in range(n):
        print(gevent.getcurrent(), i)
        time.sleep(1)
def main1():
    创建三个协程， 并让该协程执行job任务
    假设多协程执行的任务， 没有IO操作或者等待， 那么协程间是依次运行， 而不是交替运行;
    假设多协程执行的任务， IO操作或者等待， 那么协程间是交替运行;
    g1 = gevent.spawn(job, 2)
    g2 = gevent.spawn(job, 3)
    g3 = gevent.spawn(job, 2)
    等待所有的协程执行结束， 再执行主程序；
    gevent.joinall([g1, g2, g3])
    print("任务执行结束.....")
main1()

运行结果：

3.协程案例

import time
from urllib.request import urlopen
from concurrent.futures import  ThreadPoolExecutor
import gevent
1）. 打补丁
from gevent import  monkey
from mytimeit import timeit
monkey.patch_all()
2）. 确定多协程执行的任务内容；
def load_url(url):
       with urlopen(url) as conn:
        data = conn.read()
        print("%s网页字节数为%s" %(url, len(data)))
URLS = ['http://httpbin.org', 'http://example.com/']*100
@timeit
def gevent_main():
    gevents = [gevent.spawn(load_url, url) for url in URLS]
    gevent.joinall(gevents)
@timeit
def thread_main():
    with  ThreadPoolExecutor(max_workers=100) as f:
        f.map(load_url, URLS)
if __name__ == '__main__':
    gevent_main()
    thread_main()

@timeit文件内容

import time
def timeit(f):
    def wrapper(*args, **kwargs):
        start_time = time.time()
        res = f(*args, **kwargs)
        end_time = time.time()
        print("%s运行时间为%s" %(f.__name__, end_time-start_time))
        return  res
    return  wrapper

运行结果：

             

4.网络通讯三要素

IP
Mac地址
分类:
        IPv4： 172.25.254.100  ===> 32位的二进制格式， 点分十进制法; 2^32-1
        IPv6:  ===> 128位的二进制格式 , 冒分十六进制；
查看：
    ip addr show br0
port： 为了标识通信的应用程序
常见的port和服务的对应关系:/etc/services
已经被分配的port： 0-1024
自定义端口号的范围: 1024-65535
通信协议: TCP和UDP

5.socket编程

AddressFamily.AF_INET  : ipv4
socket.AF_INET6  : ipv6
SOCK_STREAM： TCP协议
socket.SOCK_DGRAM: UDP协议

import  socket
print(socket.gethostname())
'www.baiu.com'根据域名获取对应服务器的ip地址
print(socket.gethostbyname('www.baidu.com'))
根据IP获取对应的主机名
print(socket.gethostbyaddr('172.25.254.250'))
print(socket.gethostbyaddr('114.114.114.114'))
print(socket.gethostbyaddr('220.181.112.244'))
print(socket.getaddrinfo('www.xunlei.com', 80))

运行结果：

6.socket实现web简易服务器

import  socket
def handle_request(sockObj):
    sockObj.send(b'HTTP/1.1  200 OK\r\n\r\n')
    with open('hello.html') as f:
        sockObj.send(f.read().encode('utf-8'))
if __name__ == '__main__':
    1. 创建一个socket对象
    server = socket.socket()
    2. 绑定ip和端口
    server.bind(('172.25.254.6', 9003))
    3. 监听是否有客户端连接
    server.listen(3)
    print("服务器端已经启动9002端口......")
    while True:
        4. 接受客户端连接
        sockObj, address = server.accept()
        print(sockObj, address)
        5. 接受客户端发送的消息
        recv_data = sockObj.recv(1024)
        sockObj.send(b'HTTP/1.1  200 OK\r\n\r\n')
        sockObj.send(b'<h1>westos</h1>')
        6. 与客户端进行交互， 返回给客户端信息
        handle_request(sockObj)
        sockObj.close()

运行结果：

7.TCP聊天室

服务端：

创建一个socket对象
import socket
server = socket.socket()
 绑定ip和端口
server.bind(('172.25.254.6', 9005))
监听是否有客户端连接
server.listen()
print("服务器端已经启动9005端口......")
接收客户端连接
sockObj, address = server.accept()
while True:
    接收客户端发送的消息
    recv_data = sockObj.recv(1024).decode('utf-8')
    print("client>:%s" %(recv_data))
    if recv_data == 'quit':
        break
     给客户端回复消息
    send_data = input("server>:")
    if send_data == 'quit':
        break
    sockObj.send(send_data.encode('utf-8'))
 关闭socket对象
sockObj.close()
server.close()

客户端：

import  socket
HOST = '172.25.254.6'
PORT = 9005
创建客户端的socket对象
client = socket.socket()
连接服务端， 需要指定端口和IP
client.connect((HOST, PORT))
while True:
     给服务端发送数据
    send_data = input("client:>")
    client.send(send_data.encode('utf-8'))
    if send_data == 'quit':
        break
    获取服务端返回的消息
    recv_data = client.recv(1024).decode('utf-8')
    if recv_data == 'quit':
        break
    print("server:>%s" %(recv_data))
关闭socket连接
client.close()

运行结果：

       

         

8.TCP协程聊天室

服务端：

from gevent import  monkey
monkey.patch_all()
import  gevent
创建一个socket对象
import socket
server = socket.socket()
绑定ip和端口
server.bind(('172.25.254.6', 9006))
 监听是否有客户端连接
server.listen()
print("服务器端已经启动9006端口......")
while True:
    接收客户端连接
    sockObj, address = server.accept()
    gevent.spawn(handle_request, sockObj)
关闭socket对象
sockObj.close()
server.close()

客户端：

import  socket
HOST = '172.25.254.6'
PORT = 9005
创建客户端的socket对象
client = socket.socket()
连接服务端， 需要指定端口和IP
client.connect((HOST, PORT))
while True:
    给服务端发送数据
    send_data = input("client:>")
    client.send(send_data.encode('utf-8'))
    if send_data == 'quit':
        break
    获取服务端返回的消息
    recv_data = client.recv(1024).decode('utf-8')
    if recv_data == 'quit':
        break
    print("server:>%s" %(recv_data))
关闭接socket连
client.close()

9.UDP服务端：

import socket
HOST = '172.25.254.6'
PORT = 6001
创建socket对象
server =  socket.socket(type=socket.SOCK_DGRAM)
绑定IP和port
server.bind((HOST, PORT))
print("等待客户端的UDP请求.......")
接收客户端发送的消息
data, address = server.recvfrom(1024)
print("接收到客户端的消息:", data.decode("utf-8"))
print("客户端连接的socket地址：",  address)
给客户端回复消息
server.sendto(b'hello client', address)
关闭socket对象
server.close()

UDP客户端：

import socket
HOST = '172.25.254.6'
PORT = 6001
创建socket对象
client =  socket.socket(type=socket.SOCK_DGRAM)
发送消息给服务端
client.sendto(b"hello server", (HOST, PORT))
接收服务端返回的信息
data, address = client.recvfrom(1024)
print("接收服务端的消息:", data)
关闭socket对象
client.close()

10.爬取网页内容

import socket
from urllib.request import urlopen
client = socket.socket()
client.connect(('www.baidu.com', 80))
client.send(b'GET / HTTP/1.1\r\nHost: www.baidu.com\r\nConnection: close\r\n\r\n')
recv_data = client.recv(1024*100)
print(recv_data.decode('utf-8'))
client.close()

运行结果：