逆向 -- RPC

扁舟·TF

已于 2023-04-16 20:30:17 修改

阅读量707

点赞数 2

文章标签：爬虫

于 2023-04-15 07:34:33 首次发布

本文链接：https://blog.csdn.net/weixin_44791631/article/details/130165081

版权

背景

当一个目标站加密字段特别多，而且我们对其并不需要大规模爬取时，考虑到时间成本，我们就可以使用RPC来获取加密数据。
RPC：远程服务器调用，
原理简单的说就是搭建一个后端服务器，然后把拦截到的浏览器数据通过websocket发送到我们的服务器，我们通过API 取获取加密数据。
这里就不多说了，想详细了解的自行取goole吧！

今天我所带来的是一个简单的RPC模型，架构很简单，主要分为三个部分，1、spider客户端 2、服务器 3、浏览器客户端，其中服务器只做数据的中转，数据逻辑处理都做客户端。工作流程如下：

spider客户端编辑好加密的数据，发送给服务器
服务器接收到数据后直接返回给所有的客户端（包括spider客户端）
web客服端接收到数据后进行解析，数据加密后发送给服务器
服务重复第二步骤

以上就是整个RPC 获取加密数据的流程。下面是代码：

server.py

import asyncio
import websockets


# client connection container
client = []   # 连接池

async def send_to_all(message):
    for i in client:
        await i.send(message)

async def main_logic(websocket):
    client.append(websocket)
    while True:
        try:
            recv_text = await websocket.recv()
        except Exception:
            client.remove(websocket)
            break
        await send_to_all(recv_text)


async def main():
    async with websockets.serve(main_logic, '127.0.0.1', 9999):
        await asyncio.Future()  # run forever

if __name__ == '__main__':
    asyncio.run(main())

spider.py

import asyncio
import websockets
import json
import time


"""
请求端 -- spider
"""

async def ws_client(url, n):
    async with websockets.connect(url) as websocket:
        data = {'id': '1', 'value': {'page': n, 'time': round(time.time() * 1000)}}
        await websocket.send(json.dumps(data))
        while True:
            response = await websocket.recv()
            data = json.loads(response)
            if data.get('id') == '1':
                continue
            break
    return response


if __name__ == "__main__":
    data = asyncio.run(ws_client('ws://127.0.0.1:9999', 1))
    print(data)

web.js

!function () {
	// flagLX 防止浏览器不停的创建连接
    if (window.flagLX) {}
    else {
        // sign 加密函数，自行更改
        window.weiboLx = sign;
        // host:port
        var ws = new WebSocket("ws://127.0.0.1:9999");
        // 建立连接后更新一下状态
        window.flagLX = true;
        ws.open = function (evt) {};
        ws.onmessage = function (evt) {
            // 如果返回值不是一个json格式可以去掉JSON.parse
            var n = JSON.parse(evt.data);
            if (n['id'] == '2') {
				return
			};
            var data = n['value'];
            // 数据加密
            var res = window.weiboLx(data['page'] + '|' + data['time']);
            // 加密后的数据发送到后端服务器
            ws.send(JSON.stringify({
                    'id': '2',
                    'value': res
                }));
        }
    }
}();

注意：这段js代码需要自行定位加密函数位置，把代码加入其中。具体步骤：

在浏览器中替换源码，
找到加密内容处，添加websocket自执行代码，通过websocket把加密后的内容直接传递给后台

使用案例：
猿人学的第二十题

server.py

import asyncio
import websockets


# client connection container
client = []   # 连接池

async def send_to_all(message):
    for i in client:
        await i.send(message)

async def main_logic(websocket):
    client.append(websocket)
    while True:
        try:
            recv_text = await websocket.recv()
        except Exception:
            client.remove(websocket)
            break
        await send_to_all(recv_text)


async def main():
    async with websockets.serve(main_logic, '127.0.0.1', 9999):
        await asyncio.Future()  # run forever

if __name__ == '__main__':
    asyncio.run(main())

main.py

import asyncio
import sys

import websockets
import json
import time
import requests
from submit import ExSubmit

"""
请求端 -- spider
"""


async def ws_client(url, page, time_str):
    async with websockets.connect(url) as websocket:
        data = {'id': '1', 'value': {'page': page, 'time': time_str}}
        await websocket.send(json.dumps(data))
        while True:
            response = await websocket.recv()
            data = json.loads(response)
            if data.get('id') == '1':
                continue
            break
    return response


if __name__ == "__main__":
    url = "https://match.yuanrenxue.cn/api/match/20"
    headers = {
        'authority': "match.yuanrenxue.cn",
        'accept': "application/json, text/javascript, */*; q=0.01",
        'accept-language': "zh-CN,zh;q=0.9,en;q=0.8,en-GB;q=0.7,en-US;q=0.6",
        'cache-control': "no-cache,no-cache",
        'cookie': "no-alert3=true; Hm_lvt_c99546cf032aaa5a679230de9a95c7db=1680341495,1680341600,1680417806,1680477550; Hm_lvt_9bcbda9cbf86757998a2339a0437208e=1680478049; Hm_lvt_434c501fe98c1a8ec74b813751d4e3e3=1680940092; m=5f464c4990212f648d29c9d6cb11f4bb; RM4hZBv0dDon443M=tadIJCdI390rg0XPWepU3ZtEXWceovCrsx6wwpLJyOsM5JfeYtUZgz4Vbkc99+Iie7BbXDLwRqk/SBFzU+zLn4fusno7SgY5YhUACOABKh2lpgrQL8w7SBRZryxDJ8fQg5yBnFC9YvFnZXEu5UrGEswAab6ux00gSyLWf78J2JfajtgCBKCSKvRB5p4JcfDKSXNnY/wTCs4SBgNc5OYXCh6I99uZ06CPGg096PEzlF8=; Hm_lpvt_434c501fe98c1a8ec74b813751d4e3e3=1680945275; tk=4599678554058727860; sessionid=kbn1zg4itb0fxx37mulvw6tzwwmm1zyv; Hm_lpvt_9bcbda9cbf86757998a2339a0437208e=1681515897; Hm_lpvt_c99546cf032aaa5a679230de9a95c7db=1681515965",
        'pragma': "no-cache",
        'referer': "https://match.yuanrenxue.cn/match/20",
        'user-agent': "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/112.0.0.0 Safari/537.36 Edg/112.0.1722.39",
    }

    number = 0
    for i in range(1, 6):
        time_str = round(time.time() * 1000)
        data = asyncio.run(ws_client('ws://127.0.0.1:9999', i, time_str))
        data_info = json.loads(data)
        print(data_info)

        querystring = {"page": i, "sign": data_info.get('value'), "t": f"{time_str}"}

        if i >= 4:
            headers['user-agent'] = 'yuanrenxue.project'
        response = requests.request("GET", url, headers=headers, params=querystring)
        try:
            resp_data = response.json()
        except Exception:
            print(response.text)
            sys.exit(1)
        print(resp_data)
        for _ in resp_data.get('data'):
            number += _.get('value')
    print(number)
    # 我自己写的提交答案的方法，可以忽略
    ExSubmit(number, 20, 'kbn1zg4itb0fxx37mulvw6tzwwmm1zyv')

web.js

对index_bg.js进行本地替换
在function sign 中注入websocket 代码

!function () {
    if (window.flagLX) {}
    else {
        window.weiboLx = sign;
        var ws = new WebSocket("ws://127.0.0.1:9999");
        window.flagLX = true;
        ws.open = function (evt) {};
        ws.onmessage = function (evt) {
            // 如果返回值不是一个json格式可以去掉JSON.parse
            var n = JSON.parse(evt.data);
            if (n['id'] == '2') {
				return
			};
            var data = n['value'];
                var res = window.weiboLx(data['page'] + '|' + data['time']);
            ws.send(JSON.stringify({
                    'id': '2',
                    'value': res
                }));
        }
    }
}();

这里给新手提示一下，启动顺序：

先运行server.py
web替换完成后刷新网页
执行main.py

扁舟·TF

关注

2
点赞
踩
3

收藏

觉得还不错? 一键收藏
0
评论
逆向 -- RPC

今天我所带来的是一个简单的RPC模型，架构很简单，主要分为三个部分，1、spider客户端 2、服务器 3、浏览器客户端，其中服务器只做数据的中转，数据逻辑处理都做客户端。的说就是搭建一个后端服务器，然后把拦截到的浏览器数据通过websocket发送到我们的服务器，我们通过API 取获取加密数据。当一个目标站加密字段特别多，而且我们对其并不需要大规模爬取时，考虑到时间成本，我们就可以使用。注意：这段js代码需要自行定位加密函数位置，把代码加入其中。RPC：远程服务器调用，
复制链接

扫一扫