和python高级知识_python高级知识

网络udp

socket的作用

进程指的是：运行的程序以及运行时用到的资源这个整体称之为进程

socket(简称 套接字) 是最通用的进程间通信的一种方式

创建socket

importsocket

socket.socket(AddressFamily, Type)

函数 socket.socket 创建一个 socket，该函数带有两个参数：

Address Family：可以选择 AF_INET(用于 Internet 进程间通信 表示IPv4协议) 或者 AF_INET6(表示IPv6协议 未来很快可能用上) 等

Type：套接字类型，可以是 SOCK_DGRAM(数据报套接字，主要用于 UDP 协议)或者 SOCK_STREAM(流式套接字，主要用于 TCP 协议)等

UDP和TCP是两种比较常见的套接字类型 UDP使用比较简单。

创建一个udp socket(tcp套接字)

importsocket#创建udp的套接字

s =socket.socket(socket.AF_INET, socket.SOCK_DGRAM)#...这里是使用套接字的功能(省略)...

#不用的时候，关闭套接字

s.close()

说明

套接字使用流程 与 文件的使用流程很类似

创建套接字

使用套接字收/发数据

关闭套接字

udp网络程序-发送、接收数据

创建一个基于udp的网络程序流程很简单，具体步骤如下：

创建客户端套接字

发送/接收数据

关闭套接字

代码如下:

#coding=utf-8

from socket import *

#1. 创建udp套接字

udp_socket =socket(AF_INET, SOCK_DGRAM)#2. 准备接收方的地址#'192.168.1.103'表示目的ip地址#8080表示目的端口

dest_addr = ('192.168.1.103', 8080) #注意 是元组，ip是字符串，端口是数字

#3. 从键盘获取数据

send_data = input("请输入要发送的数据:")#4. 发送数据到指定的电脑上的指定程序中

udp_socket.sendto(send_data.encode('utf-8'), dest_addr)#5. 关闭套接字

udp_socket.close()

View Code

python3编码转换

str->bytes:encode('utf-8')  编码

bytes->str:decode('utf-8')  解码

其中decode()与encode()方法可以接受参数，其声明分别为:

bytes.decode(encoding="utf-8", errors="strict")

其中 encoding是指在解码/编码(动词)过程中使用的字符编码(名词)

errors是指错误的处理方案,errrors参数默认值是strict(严格的)意味着如果编解码出错将会抛出 UnicodeError;

如果想忽略编解码错误 可以将errors设置为ignore。

udp绑定信息

绑定示例

#coding=utf-8

from socket import *

#1. 创建套接字

udp_socket =socket(AF_INET, SOCK_DGRAM)#2. 绑定本地的相关信息，如果一个网络程序不绑定，则系统会随机分配

local_addr = ('', 7788) #ip地址和端口号，ip一般不用写，表示本机的任何一个ip

udp_socket.bind(local_addr)#3. 等待接收对方发送的数据

recv_data = udp_socket.recvfrom(1024) #1024表示本次接收的最大字节数

#4. 显示接收到的数据

print(recv_data[0].decode('gbk'))#5. 关闭套接字

udp_socket.close()

View Code

bind()函数的作用就让操作系统不再默认分配的随机端口，而是使用参数指定的端口。

TCP简介

TCP协议，传输控制协议(英语：Transmission Control Protocol，缩写为 TCP)是一种面向连接的、可靠的、基于字节流的传输层通信协议，由IETF的RFC 793定义。

TCP特点:

面向连接

TCP通信需要经过创建连接、数据传送、终止连接三个步骤。在通信开始之前，一定要先建立相关的链接，才能发送数据

可靠传输

TCP采用发送应答机制：TCP发送的每个报文段都必须得到接收方的应答才认为这个TCP报文段传输成功

超时重传：1.发送时启动定时器,如果没收到就重传. 2.TCP给每个包一个序号,序号也保证接收顺序 ,然后接收端发回一个相应的确认(ACK),如果发送端实体在合理的往返时延(RTT)内未收到确认，那么对应的数据包就被假设为已丢失将会被进行重传。

错误校验: TCP用一个校验和函数来检验数据是否有错误；在发送和接收时都要计算校验

流量控制和阻塞管理: 流量控制用来避免主机发送得过快而使接收方来不及完全收下。

TCP与UDP的不同点

面向连接(确认有创建三方交握，连接已创建才作传输。)

有序数据传输

重发丢失的数据包

舍弃重复的数据包

无差错的数据传输

阻塞/流量控制

tcp客户端构建流程

from socket import *

#创建socket

tcp_client_socket =socket(AF_INET, SOCK_STREAM)#目的信息

server_ip = input("请输入服务器ip:")

server_port= int(input("请输入服务器port:"))#链接服务器

tcp_client_socket.connect((server_ip, server_port))#提示用户输入数据

send_data = input("请输入要发送的数据：")

tcp_client_socket.send(send_data.encode("gbk"))#接收对方发送过来的数据，最大接收1024个字节

recvData = tcp_client_socket.recv(1024)print('接收到的数据为:', recvData.decode('gbk'))#关闭套接字

tcp_client_socket.close()

View Code

tcp服务器

socket创建一个套接字

bind绑定ip和port

listen使套接字变为可以被动套接字

accept取出一个客户端连接 用以服务

recv/send接收发送数据

from socket import *

#创建socket

tcp_server_socket =socket(AF_INET, SOCK_STREAM)#本地信息

address = ('', 7788)#绑定

tcp_server_socket.bind(address)#使用socket创建的套接字默认的属性是主动的，使用listen将其变为被动的，这样完成之后 下一步就可以接受accept别人的连接connect请求了

tcp_server_socket.listen(128)#如果有新的客户端来链接服务器，那么就产生一个新的套接字专门为这个客户端服务#client_socket用来为这个客户端服务#tcp_server_socket就可以省下来专门等待其他新客户端的链接

client_socket, clientAddr =tcp_server_socket.accept()#接收对方发送过来的数据

recv_data = client_socket.recv(1024) #接收1024个字节

print('接收到的数据为:', recv_data.decode('gbk'))#发送一些数据到客户端

client_socket.send("thank you !".encode('gbk'))#关闭为这个客户端服务的套接字，只要关闭了，就意味着为不能再为这个客户端服务了，如果还需要服务，只能再次重新连接

client_socket.close()

View Code

tcp注意点

tcp服务器中通过listen可以将socket创建出来的主动套接字变为被动的

当客户端需要链接服务器时，就需要使用connect进行链接，udp是不需要链接的而是直接发送，但是tcp必须先链接，只有链接成功才能通信

当一个tcp客户端连接服务器时，服务器端会有1个新的套接字，这个套接字用来标记这个客户端，单独为这个客户端服务

listen后的套接字是被动套接字，用来接收新的客户端的连接请求的，而accept返回的新套接字是标识这个新客户端的

关闭listen后的套接字意味着被动套接字关闭了，会导致新的客户端不能够链接服务器，但是之前已经链接成功的客户端正常通信。

关闭accept返回的套接字意味着这个客户端已经服务完毕

当客户端的套接字调用close后，服务器端会recv解阻塞，并且返回的长度为0，因此服务器可以通过返回数据的长度来区别客户端是否已经下线；同理 当服务器断开tcp连接的时候 客户端同样也会收到0字节数据。

多任务-线程

并发：指的是任务数多余cpu核数，通过操作系统的各种任务调度算法，实现用多个任务在同一时间段执行。

并行：指的是多核cpu情况下，多个任务的一些任务往往是在同一时间点执行的。

使用threading模块

python的thread模块是比较底层的模块，python的threading模块是对thread做了一些包装的，可以更加方便的被使用

#创建线程的执行计划 target指定线程执行的函数

thd = threading.Thread(target=sing)#启动线程的执行计划 - 创建并且运行子线程

thd.start()

# 查看当前进程内部的所有存活的线程列表

threading.enumerate()

多线程在调度执行的时候 顺序是不确定的 无序的

target指定线程执行的函数 args指定函数运行时所需的参数

thd = threading.Thread(target=say_sorry, args=(i,))

多线程共享全局变量

创建线程第二种方式:

继承子Thread类　实现启动的run方法　创建子类对象　.start()"

importthreadingimporttimeclassMyThread(threading.Thread):"""继承子Ｔｈｒｅａｄ类　实现启动的ｒｕｎ方法　创建子类对象　.start()"""

defrun(self):"""ｒｕｎ方法会在子线程执行的时候自动调用"""

whileTrue:print("runnnnnn")

time.sleep(1)if __name__ == '__main__':#创建子线程执行计划

mt =MyThread()#启动子线程的创建和执行

mt.start()whileTrue:print("这是主线程")

time.sleep(1)

View Code

资源竞争问题

如果多个线程同时对同一个全局变量操作，会出现资源竞争问题，从而数据结果会不正确

解决办法:

创建一把互斥锁　能够保证在任意时间点只有一个线程能够成功获取. 如果已经被锁定 还有一个新任务需要这把锁 默认会这个新任务阻塞等待

lock = threading.Lock()

死锁问题 代码

importtimeimportthreading

g_number=0"""死锁是怎么产生的　如何解决死锁问题"""

defworker1(lock1):globalg_numberfor i in range(1000000):#尝试加锁 如果没有被锁定就能成功锁定 如果已经被锁定 那么将会阻塞当前线程 直到锁被释放

#默认情况下　默认参数为Ｔｒｕｅ就会阻塞

#返回值表示有没有成功获取到锁 如果参数是Ｆａｌｓｅ表示不阻塞获取锁资源

#表示阻塞等待　最多等３ｓ

#if lock1.acquire(True, 3):

if lock1.acquire(True): #不阻塞等待获取锁　如果锁未锁定就获取　如果被锁定就直接继续执行

g_number += 1

#释放锁资源

lock1.release()else:print("没有成功获取到锁")

time.sleep(1)defworker2(lock1):globalg_numberfor i in range(1000000):#print("in worker2 %d" % g_number)

lock1.acquire()

g_number+= 1lock1.release()if __name__ == '__main__':#创建一把互斥锁　能够保证在任意时间点只有一个线程能够成功获取

#如果已经被锁定 还有一个新任务需要这把锁 默认会这个新任务阻塞等待

#创建锁

lock =threading.Lock()

w1= threading.Thread(target=worker1, args=(lock,))

w1.start()

w2= threading.Thread(target=worker2, args=(lock,))

w2.start()

w1.join()

w2.join()print("运算结果是%d" % g_number)

View Code

同步就是协同步调，按预定的先后次序进行运行

进程

进程：一个程序运行起来后，代码+用到的资源 称之为进程，它是操作系统分配资源的基本单元。

进程是系统进行资源分配和调度的一个独立单位.

线程是进程的一个实体,是CPU调度和分派的基本单位,

线程和进程在使用上各有优缺点：线程执行开销小，但不利于资源的管理和保护；而进程正相反。

进程间通信-Queue

使用multiprocessing模块的Queue实现多进程之间的数据传递，Queue本身是一个消息列队程序