在php中调用go rpc套接字方法_Python RPC实现原理及方法，通过代码进行实例解析-CSDN博客

单线程同步

使用socket传输数据
使用json序列化消息体
struct将消息编码为二进制字节串，进行网络传输

消息协议

// 输入{  in: "ping",  params: "ireader 0"}// 输出{  out: "pong",  result: "ireader 0"}

客户端 client.py

# coding: utf-8# client.pyimport jsonimport timeimport structimport socketdef rpc(sock, in_, params):  response = json.dumps({"in": in_, "params": params}) # 请求消息体  length_prefix = struct.pack("I", len(response)) # 请求长度前缀  sock.sendall(length_prefix)  sock.sendall(response)  length_prefix = sock.recv(4) # 响应长度前缀  length, = struct.unpack("I", length_prefix)  body = sock.recv(length) # 响应消息体  response = json.loads(body)  return response["out"], response["result"] # 返回响应类型和结果if __name__ == '__main__':  s = socket.socket(socket.AF_INET, socket.SOCK_STREAM)  s.connect(("localhost", 8080))  for i in range(10): # 连续发送10个rpc请求    out, result = rpc(s, "ping", "ireader %d" % i)    print out, result    time.sleep(1) # 休眠1s，便于观察  s.close() # 关闭连接

服务端 blocking_single.py

# coding: utf8# blocking_single.pyimport jsonimport structimport socketdef handle_conn(conn, addr, handlers):  print addr, "comes"  while True: # 循环读写    length_prefix = conn.recv(4) # 请求长度前缀    if not length_prefix: # 连接关闭了      print addr, "bye"      conn.close()      break # 退出循环，处理下一个连接    length, = struct.unpack("I", length_prefix)    body = conn.recv(length) # 请求消息体    request = json.loads(body)    in_ = request['in']    params = request['params']    print in_, params    handler = handlers[in_] # 查找请求处理器    handler(conn, params) # 处理请求def loop(sock, handlers):  while True:    conn, addr = sock.accept() # 接收连接    handle_conn(conn, addr, handlers) # 处理连接def ping(conn, params):  send_result(conn, "pong", params)def send_result(conn, out, result):  response = json.dumps({"out": out, "result": result}) # 响应消息体  length_prefix = struct.pack("I", len(response)) # 响应长度前缀  conn.sendall(length_prefix)  conn.sendall(response)if __name__ == '__main__':  sock = socket.socket(socket.AF_INET, socket.SOCK_STREAM) # 创建一个TCP套接字  sock.setsockopt(socket.SOL_SOCKET, socket.SO_REUSEADDR, 1) # 打开reuse addr选项  sock.bind(("localhost", 8080)) # 绑定端口  sock.listen(1) # 监听客户端连接  handlers = { # 注册请求处理器    "ping": ping  }  loop(sock, handlers) # 进入服务循环

多线程同步

使用线程库thread创建原生线程
服务器可并行处理多个客户端

服务端 multithread.py

多进程同步

Python的GIL导致单个进程只能占满一个CPU核心，多线程无法利用多核优势
os.fork()会生成子进程
子进程退出后，父进程需使用waitpid系统调用收割子进程，防止其成为僵尸资源
在子进程中关闭服务器套接字后，在父进程中也要关闭服务器套接字
因为进程fork后，父子进程都有自己的套接字引用指向内核的同一份套接字对象，套接字引用计数为2，对套接字进程close，即将套接字对象的引用计数减1

PreForking同步

进程比线程耗费资源，通过PreForking进程池模型对服务器开辟的进程数量进行限制，避免服务器负载过重
如果并行的连接数量超过了prefork进程数量，后来的客户端请求将会阻塞

但进程异步

通过事件轮询API，查询相关套接字是否有相应的读写事件，有则携带事件列表返回，没有则阻塞
拿到读写事件后，可对事件相关的套接字进行读写操作
设置读写缓冲区
Nginx/Nodejs/Redis都是基于异步模型
异步模型编码成本高，易出错，通常在公司业务代码中采用同步模型，仅在讲究高并发高性能的场合才使用异步模型

PreForking异步

Tornado/Nginx采用了多进程PreForking异步模型，具有良好的高并发处理能力

以上就是本文的全部内容，希望对大家的学习有所帮助，也希望大家多多支持我们。

时间：2020-07-07

Python中实现远程调用(RPC、RMI)简单例子

远程调用使得调用远程服务器的对象.方法的方式就和调用本地对象.方法的方式差不多,因为我们通过网络编程把这些都隐藏起来了.远程调用是分布式系统的基础. 远程调用一般分为两种,远程过程调用(RPC)和远程方法调用(RMI). RPC RPC属于函数级别的远程调用,其多是通过HTTP传输数据,数据形式有XML.JSON.序列化数据等.在此,用python做一个xml-rpc的示例. 先给服务器端server.py: 复制代码代码如下: from SimpleXMLRPCServer import S

python使用rpc框架gRPC的方法

概述 gRPC 是谷歌开源的一个rpc(远程程序调用)框架,可以轻松实现跨语言,跨平台编程,其采用gRPC协议(基于HTTP2). rpc: remote procedure call, 翻译过来就是是远程程序调用.具体来说,就是客户端c1需要调用服务器s1上的某个方法(函数),得到相应的返回值并传递给c1. gRPC协议要说gRPC协议需要先了解HTTP2, 虽然HTTP1.X 协议至今仍是主流协议,但是随着我们对性能要求越来越高,和web规模的不断扩大,HTTP2就应运而生. 在这里,我们

对python调用RPC接口的实例详解

要调用RPC接口,python提供了一个框架grpc,这是google开源的 rpc相关文档: https://grpc.io/docs/tutorials/basic/python.html 需要安装的python包如下: 1.grpc安装 pip install grpcio 2.grpc的python protobuf相关的编译工具 pip install grpcio-tools 3.protobuf相关python依赖库 pip install protobuf 4.一些常见原型的生成

python如何通过protobuf实现rpc

由于项目组现在用的rpc是基于google protobuf rpc协议实现的,所以花了点时间了解下protobuf rpc.rpc对于做分布式系统的人来说肯定不陌生,对于rpc不了解的童鞋可以自行google,这里只是做个简单的介绍.rpc的主要功能是让分布式系统的实现更为简单,为提供强大的远程调用而不损失本地调用语义的简洁性.为了实现这个目标,rpc框架需要提供一种透明调用机制让使用者不必显示区分本地调用还是远程调用.rpc架构涉及的组件如下: 客户方像调用本地方法一样去调用远程接口方法,R

python使用xmlrpc实例讲解

RPC是Remote Procedure Call的缩写,翻译成中文就是远程方法调用,是一种在本地的机器上调用远端机器上的一个过程(方法)的技术,这个过程也被大家称为"分布式计算",是为了提高各个分立机器的"互操作性"而发明出来的技术. XML-RPC的全称是XML Remote Procedure Call,即XML远程方法调用. 它是一套允许运行在不同操作系统.不同环境的程序实现基于Internet过程调用的规范和一系列的实现.这种远程过程调用使用http作为传

在Python中使用gRPC的方法示例

本文介绍了在Python中使用gRPC的方法示例,分享给大家,具体如下: 使用Protocol Buffers的跨平台RPC系统. 安装使用 pip pip install grpcio pip install grpcio-tools googleapis-common-protos gRPC由两个部分构成,grpcio 和 gRPC 工具, 后者是编译 protocol buffer 以及提供生成代码的插件. 使用编写protocol buffer 使用 gRPC 首先需要做的是设计 p

python远程调用rpc模块xmlrpclib的方法

RPC(Remote Procedure Call Protocol)是远程调用协议,它通过网络请求服务到远端服务器,服务器根据请求做出响应,将结果返回它是一种C/S模式,客户端可以调用远程服务器上的参数(类似URL)并返回结果利用rpc可以实现系统的分布式架构,可以将功能分解到多台服务器上进行实现,同时也将也可以将负载打散,分布到不同服务器上,整合计算资源在openstack中就大量使用了rpc rpc多使用http传输请求,格式有xml,json等,这里是xml 模块: xmlrpcl

python基于xmlrpc实现二进制文件传输的方法

本文实例讲述了python基于xmlrpc实现二进制文件传输的方法.分享给大家供大家参考.具体实现方法如下: 服务器端: from SimpleXMLRPCServer import SimpleXMLRPCServer import xmlrpclib def python_logo(): handle = open("python_logo.jpg",'rb') return xmlrpclib.Binary(handle.read()) handle.close() server

Python基于list的append和pop方法实现堆栈与队列功能示例

本文实例讲述了Python基于list的append和pop方法实现堆栈与队列功能.分享给大家供大家参考,具体如下: #coding=utf8 ''''' 堆栈: 堆栈是一个后进先出(LIFO)的数据结构. 在栈上"push"元素是个常用术语,意思是把一个对象添加到堆栈中. 删除一个元素,可以把它"pop"出堆栈. 队列: 队列是一种先进先出(FIFO)的数据类型. 新的元素通过"入队"的方式添加进队列的末尾, "出对"就是从

Java基于Socket的文件传输实现方法

本文实例讲述了Java基于Socket的文件传输实现方法.分享给大家供大家参考,具体如下: 1. Java代码如下: package sterning; import java.io.BufferedInputStream; import java.io.DataInputStream; import java.io.DataOutputStream; import java.io.File; import java.io.FileInputStream; import java.net.Ser

Python基于pygame模块播放MP3的方法示例

本文实例讲述了Python基于pygame模块播放MP3的方法.分享给大家供大家参考,具体如下: 安装pygame(可参考:安装Python和pygame及相应的环境变量配置) pip安装这个whl文件装完就直接跑代码啦,很短的 import time import pygame file=r'C:甥敳獲chanDesktopAdele - All I Ask.mp3' pygame.mixer.init() print("播放音乐1") track = pygame.m

Python基于pillow判断图片完整性的方法

本文实例讲述了Python基于pillow判断图片完整性的方法.分享给大家供大家参考,具体如下: 1.安装第三方库. pip install pillow 2.函数示例. #encoding=utf-8 #author: walker #date: 2016-07-26 #summary: 判断图片的有效性 import io from PIL import Image #判断文件是否为有效(完整)的图片 #输入参数为文件路径 def IsValidImage(pathfile): bValid

python基于socket实现网络广播的方法

本文实例讲述了python基于socket实现网络广播的方法.分享给大家供大家参考.具体实现方法如下: import socket, sys dest = ('', 51423) s = socket.socket(socket.AF_INET, socket.SOCK_DGRAM) s.setsockopt(socket.SOL_SOCKET, socket.SO_BROADCAST,1) s.sendto("Hi", dest) print &qu

Python基于ThreadingTCPServer创建多线程代理的方法示例

本文实例讲述了Python基于ThreadingTCPServer创建多线程代理的方法.分享给大家供大家参考,具体如下: #coding=utf8 from BaseHTTPServer import BaseHTTPRequestHandler from SocketServer import ThreadingTCPServer import gzip from StringIO import StringIO import logging logging.basicConfig(level

Python基于辗转相除法求解最大公约数的方法示例

本文实例讲述了Python基于辗转相除法求解最大公约数的方法.分享给大家供大家参考,具体如下: 之前总结过一次高德纳TAOCP中的最大公约数求解,其实课后题中的算法修改要求实现的是辗转相除法求解最大公约数. 这个题目我最初的理解理解错了,自然也没有做出标准答案.现在按照标准答案的解答写一下相应的代码实现: # -*- coding:utf-8 -*- #! python2 def MaxCommDivisor(m,n): while m * n != 0: m = m % n if m == 0

Python基于dom操作xml数据的方法示例

本文实例讲述了Python基于dom操作xml数据的方法.分享给大家供大家参考,具体如下: 1.xml的内容为del.xml,如下 <?xml version="1.0" encoding="utf-8"?> 4Python

python基于FTP实现文件传输相关功能代码实例

这篇文章主要介绍了python基于FTP实现文件传输相关功能代码实例,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下本实例有文件传输相关功能,包括:文件校验.进度条打印.断点续传客户端示例: import socket import json import os import hashlib CODE = { '1001':'重新上传文件' } def file_md5(file_path): obj = open(file_path,'rb

大家平时学习Python的时候肯定会遇到很多问题，小编我为大家准备了Python学习资料，将这些免费分享给大家！如果想要的可以找我领取

领取方式：