python网络编程爬虫_运维学python之爬虫中级篇（四）网络编程

网络编程，对所有开发语言来说都是一样的，python也不例外。使用python进行网络编程时，其实是在python程序本身的进程内，连接到指定服务器进程通信端口进行通信，所以网络通信也可以称作进程间通信。

1 socket

提到网络编程，我们就不得不提socket(套接字)，打开一个socket需要知道目标ip和端口，再指定协议类型即可，应用程序通常通过"套接字"向网络发出请求或者应答网络请求，使主机间或者一台计算机上的进程间可以通讯。python提供了两个socket模块：

低级别的网络服务支持基本的 Socket，它提供了标准的 BSD Sockets API，可以访问底层操作系统Socket接口的全部方法。

高级别的网络服务模块 SocketServer， 它提供了服务器中心类，可以简化网络服务器的开发。

1.1 socket类型

创建socket格式：socket([family[, type[, proto]]])

family: 套接字家族可以使AF_UNIX或者AF_INET

type: 套接字类型可以根据是面向连接的还是非连接分为SOCK_STREAM或SOCK_DGRAM

protocol: 一般不填默认为0.

Socket类型

说明

socket.AF_UNIX

只能够用于单一的Unix系统进程间通信

socket.AF_INET

服务器之间网络通信指定使用IPv4协议

socket.AF_INET6

服务器之间网络通信指定使用IPv6协议

socket.SOCK_STAEAM

流式socket，用于TCP

socket.SOCK_DGRAM

数据报式socket，用于UDP

socket.SOCK_RAW

原始套接字，普通的套接字无法处理ICMP\IGMP等网络报文，而此套接字可以，其次，此套接字也可以处理特殊的ipv4报文，此外，利用原始套接字，可以通过IP_HDRINCL套接字选项，由用户构造ip头。

socket.SOCK_SEQPACKET

可靠的连续数据包服务

创建TCP socket

s = socket.socket(socket.AF_INET, socket.SOCK_STAEAM)

创建UDP socket

s = socket.socket(socket.AF_INET, socket.SOCK_DGRAM)

1.2 socket对象内建方法

2 编程流程

2.1 TCP编程

网络编程包括服务端和客户端两部分，主动发起连接的是客户端，被动响应的叫服务端。

TCP服务端创建和运行步骤如下：

创建socket，绑定本地ip和端口；

开始监听；

不断接收客户端请求；

接收数据后，发送给对方数据；

传输完毕，关闭socket

# -*- coding: utf-8 -*-

import time

import socket

import threading

def dealtcp(sock, addr):

"""

接收传来的数据，并发送给对方数据

"""

print('Accept new connection from %s:%s' % addr)

# 发送数据

sock.send(b'Hello, I am server')

# 循环接收数据

while True:

# 每次接收1024字节

data = sock.recv(1024)

# 等待1s

time.sleep(1)

# 如果data为空或客户端发送过来exit循环中断

if not data or data.decode('utf-8') == 'exit':

break

print('客户端发来的数据：%s' % data.decode('utf-8'))

sock.send(('Hello, %s!' % data.decode('utf-8')).encode('utf-8'))

# 关闭socket

sock.close()

print('Connection from %s:%s closed.' % addr)

if __name__ == '__main__':

# 创建一个基于IPv4和TCP协议的Socket：

s = socket.socket(socket.AF_INET, socket.SOCK_STREAM)

# 绑定本地ip和端口

s.bind(('127.0.0.1', 8000))

# 监听端口，传入的参数表示等待连接的最大连接数

s.listen(10)

print('Waiting for connection...')

# 等待连接

while True:

# accept等待连接进入，返回新的socket和ip:端口

sock, addr = s.accept()

# 创建线程执行

t = threading.Thread(target=dealtcp, args=(sock, addr))

# 启动线程

t.start()

TCP客户端创建和运行步骤如下：

创建socket

连接服务端接收发送数据

传输完毕，关闭socket

# -*- coding: utf-8 -*-

import socket

# 创建基于tcp和ipv4协议的socket

s = socket.socket(socket.AF_INET, socket.SOCK_STREAM)

# 与服务端建立连接

s.connect(('127.0.0.1', 8000))

print('接收到的服务端数据：%s' % s.recv(1024).decode('utf-8'))

# 分别发送三个数据

for data in [b'client1', b'client2', b'client3']:

s.send(data)

print('服务端又返回来的数据：%s ' % s.recv(1024).decode('utf-8'))

s.send(b'exit')

# 关闭socket

s.close()

运行结果如下：

服务端

Waiting for connection...

Accept new connection from 127.0.0.1:61544

客户端发来的数据：client1

客户端发来的数据：client2

客户端发来的数据：client3

Connection from 127.0.0.1:61544 closed.

客户端

接收到的服务端数据：Hello, I am server

服务端又返回来的数据：Hello, client1!

服务端又返回来的数据：Hello, client2!

服务端又返回来的数据：Hello, client3!

2.2 UDP编程

TCP通讯是可靠连接的过程，而UDP则是面向无连接的协议，不需要建立连接，只需要知道对方ip和端口，就直接发送数据，也不关心是否到达，也正是如此，UDP速度比TCP快。使用UDP也有客户端和服务端。

服务端创建和运行：

创建socket，绑定ip和端口

直接发送和接收数据

关闭socket

# -*- coding: utf-8 -*-

import socket

# 创建基于ipv4和UDP协议的socket

s = socket.socket(socket.AF_INET, socket.SOCK_DGRAM)

# 绑定IP和端口

s.bind(('127.0.0.1', 9000))

print('Bind udp on 9000...')

while True:

# recvfrom为接收UDP数据,接收到数据和客户端ip：端口

data, addr = s.recvfrom(1024)

print('Received from %s:%s' % addr)

# sendto发送UDP数据，注意sendto发送格式为将数据发送到套接字，address是形式为(ipaddr，port)的元组

s.sendto(b'Hello, %s' % data, addr)

客户端：

# -*- coding: utf-8 -*-

import socket

# 创建基于ipv4和UDP协议的socket

s = socket.socket(socket.AF_INET, socket.SOCK_DGRAM)

# 直接发送和接收数据

for data in [b'client1', b'client2']:

s.sendto(data, ('127.0.0.1', 9000))

print('Received %s' % s.recv(1024).decode('utf-8'))

s.close()

返回结果

服务端：

Bind udp on 9000...

Received from 127.0.0.1:65008

Received from 127.0.0.1:65008

客户端：

Received Hello, client1

Received Hello, client2