(二)requests爬取智能合约账户地址及其交易记录

最新推荐文章于 2022-10-21 07:44:22 发布

Dood8

最新推荐文章于 2022-10-21 07:44:22 发布

阅读量1w

点赞数 1

分类专栏： Python 智能合约 requests 文章标签： python request 爬虫

本文链接：https://blog.csdn.net/DUYIDONG105/article/details/120254427

版权

本文介绍了如何使用Python的requests库替代Selenium爬取https://eth.btc.com/accounts上的智能合约账户地址及其交易记录。通过抓包获取请求路径和参数，循环构造请求，并将数据写入文件。

摘要由CSDN通过智能技术生成

1 背景

之前使用Selenium爬取 https://eth.btc.com/accounts 上的账户地址及其交易记录，但是运行时间很长，而且老报一些错误，所以想到换一种方式来爬取智能合约。

2 方法

先对其抓包，获取请求路径和参数
循环构造参数
使用requests.get(url, params).json()请求获取数据并使用json方法序列化结果
处理获取到的数据并将其写入文件

3 步骤

（1）抓包

在这里插入图片描述

通过分析，获取请求地址和参数，发现只有page和size两个参数。

（2）构造参数获取数据

A.txt中是爬取的一些账户地址，通过账户地址跟上图中的请求url组合形成请求地址来获取其交易记录

A.txt部分数据示例：

外部地址,1,https://eth.btc.com/accountinfo/0x00000000219ab540356cbb839cbe05303d7705fa,0x00000000219ab540356cbb839cbe05303d7705fa,7513890.00007 ETH,152468
合约地址,2,https://eth.btc.com/accountinfo/0xc02aaa39b223fe8d0a0e5c4f27ead9083c756cc2,0xc02aaa39b223fe8d0a0e5c4f27ead9083c756cc2,6942619.43722 ETH,2774885
外部地址,3,https://eth.btc.com/accountinfo/0xbe0eb53f46cd790cd13851d5eff43d12404d33e8,0xbe0eb53f46cd790cd13851d5eff43d12404d33e8,2296896.46551 ETH,963
外部地址,4,https://eth.btc.com/accountinfo/0x73bceb1cd57c711feac4224d062b0f6ff338501e,0x73bceb1cd57c711feac4224d062b0f6ff338501e,1899046.59613 ETH,320

代码：

import requests

headers = {
   
    'Cookie': 'OCSSID=4df0bjva6j7ejussu8al3eqo03',
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36(KHTML, like Gecko) Chrome/68.0.3440.106 Safari/537.36',
}


def getManyPages(address, t