使用Python完成控制主机与任务节点的交互 [Demo]

最新推荐文章于 2022-05-23 11:23:00 发布
最新推荐文章于 2022-05-23 11:23:00 发布
阅读量2.5k 收藏 2
点赞数
分类专栏： 安全编程
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u011721501/article/details/38805387
版权


（一）

马上做一个分布式漏洞扫描与攻击的项目，这段时间一直选技术路线以及做大量的demo。这篇是记录我在主控端与各个漏洞扫描节点协调通信上的一个demo代码。我选择使用类似于WebService的技术，即各个节点暴露WebService接口，主控端去调用并且拿到回调。WebService基于SOAP协议通信我觉得太麻烦，因为我的需求是主控端分发任务队列给节点，节点执行，完成之后回调，主控端进行处理，异步调用，逻辑简单。最终我试了一下基于GET方法的类似于WebService的方法，自己写交互的过程，这样编码也比较方便: - )。  这里我不禁要吐槽下Python开发一个WebService配置运行环境实在是蛋疼，但是调用WebService倒是很容易: - (。



（二）


我使用了BaseHTTPServer，在主控端和各个节点上都维护一个多线程Server进行交互，这样编码也比较简单，可以把精力主要投放在设计好通信细节以及处理各种突发事件即可。


这个过程的逻辑如下：


  1. 主控端接收外部调用

  2. 判断调用合法性，并重新组装请求并发给扫描节点

  3. 节点收到请求，进行身份验证，并提取出信息，根据信息（服务名、参数）开启工作线程。

  4. 节点执行完进行回调。


整个过程异步实现，画了张图如下：



（三）


使用Python的BaseHTTPServer实现，这个模块可以轻易实现一个HTTP服务器，使用里面的do_GET回调函数执行具体的逻辑，识别是外部调用请求还是回调请求，并对请求进行解析以及处理异常情况。


由于只是探测阶段，所以只是简单做了一个小demo，证明这种处理方式的可行性。下面就是贴代码了：


控制端：


#coding=utf-8
'''
控制节点逻辑：
1.接收外部接口的调用,格式为：
如控制节点1，执行其内部的print_job任务
http://127.0.0.1:8000/1/print_job

2.接收节点的Callback
如收到:
http://127.0.0.1:8001/SUCCESS/NODE_ONE
表示节点1的任务完成
如果是：
http://127.0.0.1:8001/ERROR/NODE_ONE
表示节点1执行出错

3.转发给节点
各个节点分析URL
http://127.0.0.1:8001/1/print_job
表示执行方法为print_job

'''
from BaseHTTPServer import BaseHTTPRequestHandler, HTTPServer
from SocketServer import ThreadingMixIn
import urllib
import re
import threading

NODE_ONE = ('127.0.0.1','8001')
NODE_TWO = ('127.0.0.1','8002')

class MyRequestHandler(BaseHTTPRequestHandler):

    '''/1/print|1,2,3(判断url后面跟的参数列表)'''
    def getArguments(self,path):
        '''
        传递参数：/1/print|1,2,3  or  /1/print|
        '''
        if path.count('|') == 0:
            #无参数
            return []
        else:
            args = path[1:].split('/')[1].split('|')[1].split(',')
            return args
    def parseArgs(self,args):
        return str(args).replace('[','').replace(']','')
    def _writeheader(self,wtype):
        if wtype == 'OK':
            self.send_response(200)
        else:
            self.send_response(404)
        self.send_header('Content-type','text/html')
        self.end_headers()

    '''
    给任务节点分配任务(请求中转)
    http://127.0.0.1:8001/1/print_job|1,2,3
    '''
    def send_work(self,path):
        info = path[1:].split('/')
        node = info[0]  #识别节点
        job = info[1][:info[1].find('|')]   #调用节点的函数
        args = self.getArguments(path)
        print 'Node %s will do this: %s, args ====> %s' % (node,job,args)
        if node == '1': #如果是控制节点1
            #判断功能是否合法
            if job == 'print_job':
                self._writeheader('OK')
                url = 'http://%s:%s/%s/%s|%s' % (NODE_ONE[0],NODE_ONE[1],node,job,self.parseArgs(args))
                urllib.urlopen(url.replace("'",''))
                print 'Assign success！'
                return 'SENT_JOBS'
            elif job == 'xxx':   #添加节点可调用的服务列表
                '''write other functions'''
                pass
            else:
                return 'INVALID_JOB'
        elif node == '2':  #如果是节点2
            if job == 'print_job':
                self._writeheader('OK')
                url = 'http://%s:%s/%s/%s|%s' % (NODE_TWO[0],NODE_TWO[1],node,job,self.parseArgs(args))
                urllib.urlopen(url.replace("'",''))
                print 'Assign success!'
                return 'SENT_JOBS'
            else:
                self._writeheader('ERR')
                return 'INVALID_JOB'
        else:
            return 'NODE_NOT_EXISTS'

    def do_GET(self):
        '''callback:http://127.0.0.1:8001/SUCCESS/NODE_ONE'''
        pattern1 = re.compile(r'^/([A-Z]+)/(NODE_[A-Z]+)$')
        '''command:http://127.0.0.1:8002/1/print_job|1,2,3'''
        pattern2 = re.compile(r'^/(\d+)/([a-z_]+)\|([\w,]*?)$')

        callback = pattern1.findall(self.path)  #节点回调
        command = pattern2.findall(self.path)   #外部调用

        #收到callback
        if len(callback) == 1:
            status = callback[0][0]  #识别状态
            who = callback[0][1]   #识别节点
            if status == 'SUCCESS':  
                print '%s : %s Completed!' % (who,status)
                self._writeheader('OK')
            else:
                print '%s : %s Error!' % (who,status)
                self._writeheader('OK') 
                
        #如果收到指令,就分配任务
        elif len(command) == 1:
            self._writeheader('OK')
            job = command[0][0]   #具体的task
            who = command[0][1]   #指定节点
            print 'Send to %s : %s' % (who,job)
            ret = self.send_work(self.path)  #分配task
            print 'send %s' % ret
            
        else:
            #路径出错
            print 'Path: %s Error!' % self.path
            self._writeheader('ERR')

class ThreadingHTTPServer(ThreadingMixIn,HTTPServer):
    pass

if __name__ == '__main__':
    serveraddr = ('127.0.0.1',8000)
    myCtrl = ThreadingHTTPServer(serveraddr,MyRequestHandler)
    myCtrl.serve_forever()


节点1：


#coding=utf-8

'''
工作节点：
提供的接口：
<a target=_blank href="http://127.0.0.1:8001/1/print_job">http://127.0.0.1:8001/1/print_job</a>
最好的方式：
把整个业务逻辑做成线程类

'''

from BaseHTTPServer import BaseHTTPRequestHandler, HTTPServer
from SocketServer import ThreadingMixIn
import urllib
import re

CONTROLLER = "http://127.0.0.1:8000/"

class MyRequestHandler(BaseHTTPRequestHandler):
    
    '''身份验证（是否为主控节点）'''
    def IDConfirm(self,path):
        req_addr = self.client_address
        if req_addr[0] != '127.0.0.1':
            return False
        else:
            return True

    '''请求响应'''
    def _writeheader(self,wtype):
        if wtype == 'OK':
            self.send_response(200)
        elif wtype == 'INVLID_HOST':  #授权失败
            self.send_response(401)
        else:
            self.send_response(404)
        self.send_header('Content-type','text/html')
        self.end_headers()

    def getArguments(self,path):
        '''
        传递参数：/1/print|1,2,3  or  /1/print|
        '''
        if path.count('|') == 0:
            #无参数
            return []
        else:
            args = path[1:].split('/')[1].split('|')[1].split(',')
            return args


    '''解析请求参数'''
    def parseRequests(self,request):
        #/1/print_job|1,2,3
        info = request[1:].split('/')
        node = info[0]  #识别节点 
        job = info[1].split('|')[0]   #调用节点的函数
        args = self.getArguments(self.path)  #获取参数列表
        return node,job,args

    '''暴露的服务'''
    def print_job(self,name='NoneArgs'):
        print 'Node_ONE: receive jobs from controller,the args is %s' % name
        return 'SUCCESS'

    '''GET回调'''
    def do_GET(self):
        #授权失败,拒绝服务 
        if not self.IDConfirm(self.path):
            self._writeheader('INVLID_HOST')
        #授权成功,提供服务
        else:
            print self.path
            '''解析请求并执行服务'''
            (node,job,args) = self.parseRequests(self.path)
            print (node,job,args)
            if job == 'print_job':  #判断服务合法性
                self._writeheader('OK')
                print 'Print Job Working...'
                ret = self.print_job(args[0])
                urllib.urlopen('%s%s%s' % (CONTROLLER,ret,'/NODE_ONE'))
            elif job == 'xxx':
                pass
            else:
                self._writeheader('ERR')
                print 'Unknown Job...'
                urllib.urlopen('%s%s' % (CONTROLLER,"ERROR/NODE_ONE"))
        

class ThreadingHTTPServer(ThreadingMixIn,HTTPServer):
    pass

if __name__ == '__main__':
    serveraddr = ('127.0.0.1',8001)
    node1 = ThreadingHTTPServer(serveraddr,MyRequestHandler)
    node1.serve_forever()

节点2的代码和节点1的代码基本一致，除了端口不同，还是贴上去算了。

#coding=utf-8

'''
工作节点：
提供的接口：
http://127.0.0.1:8001/2/print_job
'''

from BaseHTTPServer import BaseHTTPRequestHandler, HTTPServer
from SocketServer import ThreadingMixIn
import urllib
import re

CONTROLLER = "http://127.0.0.1:8000/"

class MyRequestHandler(BaseHTTPRequestHandler):
    
    '''身份验证（是否为主控节点）'''
    def IDConfirm(self,path):
        req_addr = self.client_address
        if req_addr[0] != '127.0.0.1':
            return False
        else:
            return True

    '''请求响应'''
    def _writeheader(self,wtype):
        if wtype == 'OK':
            self.send_response(200)
        elif wtype == 'INVLID_HOST':  #授权失败
            self.send_response(401)
        else:
            self.send_response(404)
        self.send_header('Content-type','text/html')
        self.end_headers()

    def getArguments(self,path):
        '''
        传递参数：/1/print|1,2,3  or  /1/print|
        '''
        if path.count('|') == 0:
            #无参数
            return []
        else:
            args = path[1:].split('/')[1].split('|')[1].split(',')
            return args


    '''解析请求参数'''
    def parseRequests(self,request):
        #/1/print_job|1,2,3
        info = request[1:].split('/')
        node = info[0]  #识别节点 
        job = info[1].split('|')[0]   #调用节点的函数
        args = self.getArguments(self.path)  #获取参数列表
        return node,job,args

    '''暴露的服务'''
    def print_job(self,name='NoneArgs'):
        print 'Node_TWO: receive jobs from controller,the args is %s' % name
        return 'SUCCESS'

    '''GET回调'''
    def do_GET(self):
        #授权失败,拒绝服务 
        if not self.IDConfirm(self.path):
            self._writeheader('INVLID_HOST')
        #授权成功,提供服务
        else:
            print self.path
            '''解析请求并执行服务'''
            (node,job,args) = self.parseRequests(self.path)
            print (node,job,args)
            if job == 'print_job':  #判断服务合法性
                self._writeheader('OK')
                print 'Print Job Working...'
                ret = self.print_job(args[0])
                urllib.urlopen('%s%s%s' % (CONTROLLER,ret,'/NODE_ONE'))
            elif job == 'xxx':
                pass
            else:
                self._writeheader('ERR')
                print 'Unknown Job...'
                urllib.urlopen('%s%s' % (CONTROLLER,"ERROR/NODE_ONE"))
        

class ThreadingHTTPServer(ThreadingMixIn,HTTPServer):
    pass

if __name__ == '__main__':
    serveraddr = ('127.0.0.1',8002)
    node1 = ThreadingHTTPServer(serveraddr,MyRequestHandler)
    node1.serve_forever()

（四）


以上代码经过测试，解释器顺利执行，过程如下：

（1）向主控端发送调用信息：


（2）主控端接收消息：


（3）节点1执行：



隐形人真忙
关注
专栏目录
Python调用CANoe（1）(启动与停止，变量和信号读写)
蚂蚁小兵
11-24 3万+
CANoe因为其封闭性（Vector独有），开发的时候，有很多局限性；Python 因为其开源，容易上手，功能强大，那么Python 和 CANoe结合会产生怎样的火花呢？
python 节点关系图_python可视化节点关系（三）：matplotlib（1）
weixin_39640904的博客
11-27 1595
接下来，开始记录使用matplotlib这个号称python使用最广泛的图形库，所遇到的种种神坑。一、 画节点图：1. 画节点和箭头查阅api文档，觉得annotate类封装的不错。import matplotlib.pyplot as pltfrom matplotlib.text import OffsetFrombbox_args = dict(boxstyle="round", fc="0...
python主从_Python自定义主从分布式架构实例分析
weixin_39742065的博客
02-03 180
这篇文章主要介绍了Python自定义主从分布式架构,结合实例形式分析了主从分布式架构的结构、原理与具体的代码实现技巧,需要的朋友可以参考下本文实例讲述了Python自定义主从分布式架构。分享给大家供大家参考，具体如下：环境：Win7 x64，Python 2.7，APScheduler 2.1.2。原理图如下：代码部分：(1)、中心节点：#encoding=utf-8#author: walker...
python 服务器与主机简单通信
m18096602934的博客
12-16 425
这里写自定义目录标题主机客户端通信socket使用介绍发送端接收端 主机客户端通信socket 这是项目临时要求用笔记本展示结果，用python写了一个文件传输子程序，在这里保存一下，备用。 使用介绍 在使用这套程序之前需要准备以下工具： 多台电脑，一台发送端，n台接收端，可以运行python3的； 路由器一个(交换机不知道行不行，主要目的是把电脑加到局域网里)； 无线网卡或者网线，连接路由器或...
python实现网络节点通信_双向节点/ python通信 - python
weixin_39707941的博客
12-18 572
我正在尝试在节点和生成的Python进程之间实现简单的双向通信。蟒蛇：import sysfor l in sys.stdin:print "got: %s" % l节点：var spawn = require('child_process').spawn;var child = spawn('python', ['-u', 'ipc.py']);child.stdout.on('data', f...
通过 Dubbo Demo 深入学习 Dubbo 的运行过程与节点调用关系
HeatDeath的博客
01-13 1359
通过阿里的 dubbo-demo 模块了解 Dubbo 中各个节点角色相互之间的调用关系。 Dubbo-demo 含有三个字模块： 1、dubbo-demo-api： - 声明了一个接口 DemoService 2、dubbo-demo-provider： DemoServiceImpl.java实现了 dubbo-demo-provider 中声明的接口； dubbo-d
Python自定义主从分布式架构
weixin_34409703的博客
12-03 138
0、环境：Win7 x64，Python 2.7，APScheduler 2.1.2。1、图：2、代码：（1）、中心节点：#encoding=utf-8 #author:walker #date:2014-12-03 #summary:中心节点（主要功能是分配任务） importSocketServer,socket,Queue CenterIP='127...
python-actionlib-demo:一个简单的演示，用于演示如何与Python 2.7中的动作库进行交互
05-17
这是一个简单的演示，用于演示如何与Python 2.7中的动作库进行交互。 Actionlib是内置于ROS中的功能强大的异步库，它使您无需处理Python 2.7的线程开销即可执行多线程操作。 该演示将允许您彼此独立地与两个不同的...
Python-路径规划demo
08-10
在路径规划中，Python可以用于编写算法逻辑，处理数据结构，如图或网格，以及与用户交互的界面。 标签"Python开发-其它杂项"暗示这个项目可能涵盖了Python的基础知识，以及一些非特定领域的应用。这可能包括使用...
对python操作kafka写入json数据的简单demo分享
09-19
- **kafka-python**：是一个用于与 Apache Kafka 交互的纯 Python 客户端。 - **安装方式**：`pip install kafka-python` 3. **JSON 格式** - **简介**：JSON (JavaScript Object Notation) 是一种轻量级的数据...
基础入门_Python-模块和包.深入Celery之节点管理/任务调度/任务追踪?
weixin_33991727的博客
01-05 178
任务管理:说明: 如上为运行任务后的标准输出,transport为消息代理,concurrency为默认进程池进程数,当所有子进程处于忙碌状态时必须等待空闲子进程处理,如果是IO密集型可尝试使用Eventlet/Gevent协程,具体可参考http://docs.jinkan.org/docs/celery/userguide/concurrency/index.html#c...
分布式计算框架(四) 计算节点模块
月下独奏的博客
06-04 6356
四、计算节点模块    4.1 计算节点模块结构      计算节点模块主要功能为数据管理、日志管理、配置管理、处理线程管理、进程通信管理、TCP通信管理。计算节点模块类关系表如下：类名关系类    关系Managementhandle_manage聚合handle_manageHandle聚合ManagementLog聚合ManagementSetting聚合Managementtcp_Sock...
python笔记系列-day24:python做简单的web服务器
lambda-fk 的专栏
03-13 3337
初学servlet的时候，我们写一个简单的servelt响应页面的请求响应 那么python也一样，同样可以做一个简单的web服务器响应页面请求 需要的模块: http.server 两个重要的类: BaseHTTPRequestHandler : 需要继承的类，响应请求方法，类似HttpServlet HTTPServer: 获取一个server 并启动 ， 类似tomcat 的角色 第一版：简单的web服务器实现 sever.py #-*- coding:utf-8 -*- .
用 Python 远程控制 Windows 服务器，太好用了
m0_64355682的博客
05-23 1075
在很多企业会使用闲置的 Windows机器作为临时服务器，有时候我们想远程调用里面的程序或查看日志文件 Windows 内置的服务「winrm」可以满足我们的需求 它是一种基于标准简单对象访问协议（ SOAP ）的防火墙友好协议，允许来自不同供应商的硬件和操作系统进行互操作 官网： https://docs.microsoft.com/en-us/windows/win32/winrm/portal 1. 被控端 windows 这里以 Windows 10 系统机器为例 具体操作步...
Python的学习（十四）---- 实现简单的HTTP服务器
热门推荐
宁静以致远
10-18 5万+
用Python实现简单的HTTP服务器 用于搭建http server的模块有如下三种： 1）BaseHTTPServer：提供基本的Web服务和处理器类，分别是HTTPServer及BaseHTTPRequestHandler； 2）SimpleHTTPServer：包含执行GET和HEAD请求的SimpleHTTPRequestHandler类； 3）CGIHTTPServer：包含处
RequestHandler
Hqq_55732700的博客
07-29 605
import requests class RequestHandler: def get(self, url, **kwargs): “”“封装get方法”"" # 获取请求参数 params = kwargs.get(“params”) headers = kwargs.get(“headers”) try: result = requests.get(url, params=params, headers=headers) return result except Exception as e: pr
Python3廖雪峰实战项目：难点RequestHandler
Catharina官方博客
04-22 3914
最近一直在补别的知识点，个人博客实战项目就耽误了一段时间，不过，再次看day5清晰了一些；但是对新手上路的我，还是一脸懵逼（黑人问号脸？），所以这里稍微记录下自己的理解（本课内容还没有吃透，后面还要回过来研究，暂时先告一段落）。day5 的重点是自己动手撸一个Web框架，我特地去浏览了一遍asyncio的api，再加上网上各位大大的解疑博客，小白大概理清了本课的以下几个重难点：首先Web框架需要处理
python request处理_如何在Python的RequestHandler处理程序实例中修...
weixin_39793105的博客
12-08 534
这是有问题的代码：class Server(SocketServer.ForkingMixIn, SocketServer.TCPServer):__slots__ = ("loaded")class Handler(SocketServer.StreamRequestHandler):def handle(self):print self.server.loaded # Prints "Fals...
python多节点同步测试
charles_lun专栏
06-04 1360
上一篇只做到单节点的功能测试，这里继续多节点。 import hashlib import json import time from urllib.parse import urlparse from uuid import uuid4 import requests from flask import Flask, jsonify, request from typing import ...
Python与C/C++交互方法详解：Cython应用与优化
除了Cython，还有其他方法可以实现Python与C/C++的交互，例如使用SWIG（Simplified Wrapper and Interface Generator）工具，它能将Python接口转换为C/C++代码，或者通过F2Py（Fortran to Python）将Fortran代码包装...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值