手把手教你使用curl2py自动构造爬虫代码并进行网络爬虫

最新推荐文章于 2024-03-04 11:14:53 发布
最新推荐文章于 2024-03-04 11:14:53 发布
阅读量903 收藏 5
点赞数
文章标签： nagios curl weex ruby ai
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/pdcfighting/article/details/120051950
版权

点击上方“Python爬虫与数据挖掘”，进行关注

回复“书籍”即可获赠Python从入门到进阶共10本电子书

今

日

鸡

汤

白头搔更短，浑欲不胜簪。

    大家好，我是Python进阶者。

前言

    前几天给大家分享了小小明大佬的两篇文章，分别是盘点一个小小明大佬开发的Python库，4个超赞功能和手把手教你用Python网络爬虫获取B站UP主10万条数据并用Pandas库进行趣味数据分析，这两篇文章里边都有说到curl2py命令，这个命令十分的神奇，通过curl2py命令将网页请求参数直接转换为python代码。

    curl2py命令是小小明大佬开发的filestools库下四大神器之一，filestools目前包含四个工具包，分别是树形目录显示、文件差异比较、图片加水印和curl请求转python代码。关于其他三个神器的介绍，在上面那个超链接里边也有，这里给出源地址出处，直击小小明大佬开发的库。

https://pypi.org/project/filestools/

    前几天有粉丝在问这个curl2py命令不知道怎么使用，今天这篇文章就是一个手把手教程，希望大家后面都可以用上，下面一起来看看吧！

一、安装

    你可以选择在命令提示符使用pip安装filestools库，安装命令：

pip install filestools
或者
pip install filestools -i http://pypi.douban.com/simple/ --trusted-host=pypi.douban.com

二、传统方法

1、目标网站

    安装之后，我们就可以进行使用了。这里我们以小小明大佬之前介绍过的这个网站为例，进行说明。

小小数据网站：https://xxkol.cn/kol

【注意】：如果是初次登录这个网站，需要进行微信扫码登录，才能有浏览权限噢！

2、网页请求

     那么现在我们需要获取这个网站的数据，就需要对改网站进行请求。老规矩，右键选择“检查”（如下图所示）或者直接按下鼠标快捷键F12，可以进入开发者模式。

    进入到开发者模式，如下图所示。依次选择网络-->Fetch/XHR

    我们尝试进行翻页查看数据的话，发现这个网站其实是JS加载的，那么就需要构造请求头，如下图所示。

    按照以往的做法，我们肯定是需要手动的去把这些cookies、headers和params参数挨个的去复制粘贴到我们的代码文件里边。这么做肯定是可以的，但是容易出现出错或者漏了某一个参数，而且费时费力，万一出错了，你还得挨个从头到尾去检查，十分的头大。

    那现在小小明大佬给我们开发的这个curl2py工具呢，就直接解放了我们的双手，我直呼小小明yyds！下面一起来看看如何使用吧。

三、curl2py工具

1、复制为cURL(bash)

    继续沿用上一步的网站和分析情况，我们只需要在JS网址上进行右键，然后依次选择复制-->复制为cURL(bash)，如下图所示。

2、使用curl2py工具转换代码

    复制好之后，我们只需要在Pycharm中运行以下代码，其中代码中的xxx，就是上面复制到的curl命令，直接粘贴替换下面的xxx即可。

from curl2py.curlParseTool import curlCmdGenPyScript


curl_cmd = """xxx"""
output = curlCmdGenPyScript(curl_cmd)
print(output)

3、实列

    下面来看实际操作，以刚刚这个网站为例，小编刚刚已经复制了，然后替换粘贴代码，代码如下所示。

from curl2py.curlParseTool import curlCmdGenPyScript


curl_cmd = '''
curl 'https://xxkol.cn/api/klist?pagesize=20&page=2&name=&follower_start=&follower_end=&inter_start=&inter_end=&xxpoint_start=&xxpoint_end=&platform=&sex=&attribute=&category=&sort_type=' \
  -H 'authority: xxkol.cn' \
  -H 'sec-ch-ua: "Chromium";v="92", " Not A;Brand";v="99", "Microsoft Edge";v="92"' \
  -H 'accept: application/json, text/plain, */*' \
  -H 'authorization: eyJ0eXAiOiJKV1QiLCJhbGciOiJIUzI1NiJ9.eyJ1c2VyaW5mbyI6eyJvcGVuaWQiOiJvcEowYzB0V2p4RmJ4bTMwQ1FyZE9QSXNaWmlJIiwiaWQiOjEzMzc2fSwiaXNzIjoiaHR0cHM6XC9cL2JhY2sueHhrb2wuY24iLCJhdWQiOiJodHRwczpcL1wvYmFjay54eGtvbC5jbiIsImlhdCI6MTYyOTM1NzExNSwibmJmIjoxNjI5MzU3MTE1LCJleHAiOjE2Mjk5NjE5MTV9.W4l1RoQPNgCXBBBobO49QcfMjgYsM4nuKNtCmKshhHA' \
  -H 'sec-ch-ua-mobile: ?0' \
  -H 'user-agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/92.0.4515.131 Safari/537.36 Edg/92.0.902.73' \
  -H 'sec-fetch-site: same-origin' \
  -H 'sec-fetch-mode: cors' \
  -H 'sec-fetch-dest: empty' \
  -H 'referer: https://xxkol.cn/kol' \
  -H 'accept-language: zh-CN,zh;q=0.9,en;q=0.8,en-GB;q=0.7,en-US;q=0.6' \
  -H 'cookie: Hm_lvt_d4217dc2524e360ff487588dd84ad4ab=; xxtoken=eyJ0eXGciOiJIUzI1NiJ9.eyJ1c2VyaW5mbyI6eyJvcGVuaWQiOiJvcEowYzB0V2p4RmJ4bTMwQ1FyZE9QSXNaWmlJIiwiaWQiOjEzMzc2fSwiaXNzIjoiaHR0cHM6XC9cL2JhY2sueHhrb2wuY24iLCJhdWQiOiJodHRwczpcL1wvYmFjay54eGtvbC5jbiIsImlhdCI6MTYyOTM1NzExNSwibmJmIjoxNjI5MzU3MTE1LCJleHAiOjE2Mjk5NjE5MTV9.W4l1RoQPNgCXBBBobO49QcfMjgYsM4nuKNtCmKshhHA; Hm_lpvt_d4217dc2524e360ff487588dd84ad4ab=1629212' \
  --compressed
'''
output = curlCmdGenPyScript(curl_cmd)
print(output)

    运行代码之后，我们在控制台会得到具体的爬虫代码，如下图所示。

    也就是说，都不需要你动手，小小明大佬直接给你把代码都构造出来了，是不是个狠人？

    这里我把控制台输出的代码直接拷贝出来，粘贴到这里，这样大家看得可能会更直观一些。

#######################################
#      The generated by curl2py.      
#      author：小小明                  
#######################################


import requests
import json


headers = {
    "authority": "xxkol.cn",
    "sec-ch-ua": "\"Chromium\";v=\"92\", \" Not A;Brand\";v=\"99\", \"Microsoft Edge\";v=\"92\"",
    "accept": "application/json, text/plain, */*",
    "authorization": "eyJ0eXAiOiJKV1QiLCJhbGciOiJIUzI1NiJ9.eyJ1c2VyaW5mbyI6eyJvcGVuaWQiOiJvcEowYzB0V2p4RmJ4bTMwQ1FyZE9QSXNaWmlJIiwiaWQiOjEzMzc2fSwiaXNzIjoiaHR0cHM6XC9cL2JhY2sueHhrb2wuY24iLCJhdWQiOiJodHRwczpcL1wvYmFjay54eGtvbC5jbiIsImlhdCI6MTYyOTM1NzExNSwibmJmIjoxNjI5MzU3MTE1LCJleHAiOjE2Mjk5NjE5MTV9.W4l1RoQPNgCXBBBobO49QcfMjgYsM4nuKNtCmKshhHA",
    "sec-ch-ua-mobile": "?0",
    "user-agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/92.0.4515.131 Safari/537.36 Edg/92.0.902.73",
    "sec-fetch-site": "same-origin",
    "sec-fetch-mode": "cors",
    "sec-fetch-dest": "empty",
    "referer": "https://xxkol.cn/kol",
    "accept-language": "zh-CN,zh;q=0.9,en;q=0.8,en-GB;q=0.7,en-US;q=0.6"
}
cookies = {
    "Hm_lvt_d4217dc2524e36588dd84ad4ab": "1629232919",
    "xxtoken": "eyJ0eXAiOiJKVhbGciOiJIUzI1NiJ9.eyJ1c2VyaW5mbyI6eyJvcGVuaWQiOiJvcEowYzB0V2p4RmJ4bTMwQ1FyZE9QSXNaWmlJIiwiaWQiOjEzMzc2fSwiaXNzIjoiaHR0cHM6XC9cL2JhY2sueHhrb2wuY24iLCJhdWQiOiJodHRwczpcL1wvYmFjay54eGtvbC5jbiIsImlhdCI6MTYyOTM1NzExNSwibmJmIjoxNjI5MzU3MTE1LCJleHAiOjE2Mjk5NjE5MTV9.W4l1RoQPNgCXBBBobO49QcfMjgYsM4nuKNtCmKshhHA",
    "Hm_lpvt_d4217dc2524e360ff488dd84ad4ab": "16292212"
}
params = {
    "pagesize": "20",
    "page": "2",
    "name": "",
    "follower_start": "",
    "follower_end": "",
    "inter_start": "",
    "inter_end": "",
    "xxpoint_start": "",
    "xxpoint_end": "",
    "platform": "",
    "sex": "",
    "attribute": "",
    "category": "",
    "sort_type": ""
}


res = requests.get(
    "https://xxkol.cn/api/klist",
    params=params,
    headers=headers,
    cookies=cookies
)
print(res.text)

    哟嚯，这代码，直接给你呈现出来了，讲真，这代码比我们自己写出来的还要好呢，真是tql！

    有的吃瓜群众可能就要问了，小编啊，这个代码能跑嘛？当然可以了！下面一起来运行下吧！直接在Pycharm里边复制控制台的代码，将首尾两行Pycharm自带的提示去除，就可以跑了，右键运行，得到下图的结果。

    可以看到返回code 0，说明程序运行成功，而且可以看到滚动条那么小，可以想象数据量还是蛮大的，这个数据一看就是json格式的，直接将结果放到在线json网站中去看看。

json在线解析网址：https://www.sojson.com/

    然后点击红色框框中的校验/格式化，可以看到json格式的数据，如下图所示。

    这下看上去是不是清爽很多了呢？

四、总结

    我是Python进阶者，这篇文章主要给大家介绍了curl2py工具及其用法。curl2py工具的确是一个神器，功能强大，而且十分方便，有了它，基本上网页请求数据的复制、粘贴等传统方式都通通帮你搞定了，而且省事省心省力，还不用担心翻车。小伙伴们，你学会了嘛？快快用起来吧！

------------------- End -------------------

往期精彩文章推荐：

欢迎大家点赞，留言，转发，转载，感谢大家的相伴与支持

想加入Python学习群请在后台回复【入群】

万水千山总是情，点个【在看】行不行

/今日留言主题/

随便说一两句吧~~

Python进阶者
关注
  • 0
    点赞
  • 踩
  • 5
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Chrome Network-Copy介绍
sl01224318的博客
04-09 2298
在日常测试中，我们经常会使用谷歌浏览器自带的开发者工具进行抓包，于是了解、学习谷歌的开发者工具对我们十分有帮助。 首先我们按下F12进行开发者工具，然后点击Network,选择一条接口然后右击，弹出一些会话框，这就是几天要介绍的一些内容是做什么的。 其中： Open in new tab：在新的标签中打开链接 Clear browser cache：清空浏览器缓存 Clear browser cookies：清空浏览器cookies Copy：复制 ...
爬虫工具辅助工具+curl命令转python代码+自动将网络请求转成python代码
02-08
使用方法： usage: curl2python.exe [-h] [-o OUTPUT] [-n NAME] input positional arguments: input 指定保存curl命令的文件...解压后，将src文件夹添加到环境变量path中，即可在cmd中直接通过curl2py --help调用。
curl2py:Python脚本将curl命令转换为可运行的Python脚本
04-18
curl2py 简单的Python脚本可将curl命令转换为名为“ curl.py”的Python脚本。 目前功能有限。 用法：python3 curl2py.py [-r，-raw]'单引号中的curl命令' [-r，-raw]-以原始格式输出输出，而不是json pretty print的默认选项
新工具上线！只需2步助你轻松学爬虫!
小詹学python的博客
03-11 232
作者简介：张老师，学习计算机十余年，在信息安全、生物信息学、会计、平面设计、编辑出版等多个领域也均有涉猎，热爱钻研、热爱考证、热爱生活。你还在为Python爬虫入门发愁么？你还在构建req...
python curl2pyreqs 生成接口脚本
人生苦短，何妨一试
10-09 192
打开cmd窗口，输入curl2pyreqs，会自动生成接口代码。打开调试模式，在Network这里获取 接口的cURL。下载 curl2pyreqs 库。
怎么使用curl2py自动构造爬虫代码并进行网络爬虫
最新发布
这家伙很懒，什么都没有留下
03-04 1736
通过本文的介绍，我们了解了如何使用curl2py自动构造爬虫代码并进行网络爬虫。curl2py是一个非常实用的工具，它可以帮助我们快速生成Python爬虫代码，从而简化开发过程。在实际应用中，我们可以结合其他库和工具，如BeautifulSoup、lxml等，对爬取到的数据进行进一步处理和解析。对于初学者来说，建议从简单的爬虫任务开始入手，逐步掌握爬虫开发的基本技能。同时，也要遵守网站的爬虫协议和法律法规，合法合规地进行数据抓取。
结合curl与pthreads,数据库技术的C++多线程网络爬虫
02-20
结合curl与pthreads,数据库技术的网络爬虫;在xp,msql 2000-8.00.2039环境下通过,很值得新手学习,有详细技术说明.所用的其它库提供云盘下载.是本人3个月的工作成果.可下载讯雷,超级旋风等一些不能下的资源.
python网络爬虫代码资料
07-26
Python网络爬虫是一种用于自动化地从互联网上抓取大量数据的技术。在Python中，我们可以使用多种库来实现这一目标，如`urllib`、`requests`、`BeautifulSoup`、`Scrapy`等。以下是一些关于Python网络爬虫的基本知识...
Qt工程中使用curl进行网络请求，最小程序
06-10
5. **编写代码**：现在，你可以开始编写使用curl进行网络请求的代码了。以下是一个简单的示例： ```cpp #include #include <curl/curl.h> int main(int argc, char *argv[]) { QCoreApplication a(argc, ...
curl爬虫
echo
03-14 964
什么是curl： 你可能在你编写PHP脚本代码中会遇到这样的问题：怎么样才能从其他站点获取内容呢？这里有几个解决方式 最简单的就是在PHP中使用fopen()函数 但是fopen函数没有足够的参数来使用 比如当你想构建一个”网络爬虫“ 想定义爬虫在客户端描述（IE，Firefox）,通过不同的请求方式来获取内容 比如POST，GET等等 这些需求是不可能用fopen函数实现的 为了解决我们上面
【实现curl请求与python脚本的转化】
hzxyzyq的博客
11-16 2776
实现curl请求转化为python脚本
拯救了大批爬虫程序员，因为一个简单的神器
qq_42003636的博客
02-18 5640
相信大家应该都写过爬虫，简单的爬虫只需要使用 requests 即可。遇到复杂的爬虫，就需要在程序里面加上请求头和参数信息。这其实是一个很简单的程序，但是可以解决我们写代码过程中的一个痛点，提高我们写代码的效率。今天给大家介绍一个神器，可以自动地将浏览器的请求头信息解析为我们爬虫需要的代码。每次都需要这样操作，比较麻烦，而且有时候还容易搞错。将这些代码根据需要复制到爬虫程序即可。就是放到 curl_cmd 这里。这款神器的使用也很简单。
网页请求复制为curl，然后导入postman调用
蜂蜜柚子茶
04-16 8817
一、复制为curl 我使用的是谷歌浏览器，首先按F12进入开发者模式，点击Network查看网络请求 然后右击请求 -> copy -> Copy as cURL(bash) 然后会复制到如下内容 二、导入postman 首先打开postman，点击import 之后会弹框，选择弹框中的Raw text，将复制内容复制到下方，然后点击continue 然后点击import即可导入 之后就可以使用postman调用啦 ...
curl_2
weixin_34358092的博客
09-27 81
PHP中发的CURL函式子库(Client URL Library Function) close 关闭一个curl会话copy_handle 拷贝一个curl连接资源的所有内容和参数errno 返回一个包含当前会话错误信息的数字编号error 返回一个包含当前会话错误信息的字符串exec 执行一个curl会话getinfo 获取一个curl连接资源控制代码的信息init 初始化一...
postMan使用小技巧
qq_36450789的博客
05-13 2508
1. 快速导入请求 无论是自测接口还是前后端联调，在没有引入swagger或yapi的时候，用postMan，类似下面的接口请求： 需要 复制url、复制请求参数、设置post/get、设置Content-Type等步骤； 用下面这个方法，就可以省略上述繁琐步骤 1. 选中需要测试的请求，右键 2.选中copy 3.点击copy as cURL(bash) 4.打开postman--File--Import--Raw text--Continue这样就实现了快速导入，最后点击Import即可
让curl命令支持http2
Windeal
12-22 8181
CentOS首先，先为你的服务器获取最新匹配的源：http://mirror.city-fan.org/ftp/contrib/yum-repo/安装新版libcurl的yum源rpm -ivh http://mirror.city-fan.org/ftp/contrib/yum-repo/city-fan.org-release-1-13.rhel6.noarch.rpm升级libcurlyum
curl教程2
weixin_34310785的博客
04-15 89
上篇介绍了curl的基本用法和简单例子，这篇有包含下载，上传，断点续传等的技巧，一并也mark一下吧。 原文：http://blog.csdn.net/apoxlo/article/details/2825823 CURL? 嗯，说来话长了~~~~这东西现在已经是苹果机上内置的命令行工具之一了，可见其魅力之一斑 1) 二话不说，先从这里开始吧！ curl http://www.yahoo....
【爬虫自动生成代码】Playwright系列文章二
philosophy
06-03 2025
Playwright有个强大的功能，使用命令录制我们的在浏览器的操作并自动生成代码，使用这个功能可以生成多种语言的代码，减少我们代码编写量。这个功能通过playwright命令行调用codegen来实现。
excel爬虫相关学习2：vba 爬虫相关xmlhttp
奔跑的犀牛先生
06-20 4538
除了EXCEL里直接用 来自网站可以爬数据VBA也可以写爬虫代码但是设计 xmlhttp 相关的内容顾名思义，XMLHTTP是个传送XML格式数据的超文本传输协议。XMLHTTP的数据传输过程更为灵活一些：下面是网上说灵活的地方（看起来一般，可能现在是标配了把）它上传的指令可以是XML格式数据，也可以是字符串，流，或者一个无符号整数数组。还可以是URL的参数。它下达的结果可以是XML格式数据，也可以是字符串，流，或者一个无符号整数数组。(vbs)
Python网络爬虫：提取与下载网页内容
本节将介绍如何利用Python进行网页数据的抓取和处理，包括网页正文的提取、网页的下载以及使用第三方模块pycurl进行更高效的网页内容获取。" 在Python中提取网页正文，可以使用内置的`urllib.request`模块来获取...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值