关于生意参谋数据采集分析人员,我们的采集程序是否可以使用另一种方式,更不用大改之前所写的代码

我做了一种尝试,在请求服务器中间加了层代理,只过滤请求url中包含“sycm.taobao.com”,并在https请求访问完成后的response做了一些更改,分析含有data,并且有加密的信息的数据,分析完毕,自动添加了解密dataDec及值,如下图所示。这样即不影响生意参谋原来的页面,也不会对我们的程序造成影响,现在我们只需要将原有程序批量替换掉data为dataDec就可以了。

代理工具下载地址:https://download.csdn.net/download/chenxiaotao22/11060876

下载完成后,点击安装证书,之后启动服务。工作原理如下图:

 有不明白可以交流。

 

  • 2
    点赞
  • 3
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 4
    评论
Python爬虫生意参谋一种利用Python编程语言编写的用于爬取生意参谋网站数据的工具。根据引用的描述,生意参谋市场大盘爬虫脚本使用了pyppeteer和PIL库来处理数值图片问题,并通过人工登录来获取数据,并将爬取结果保存为csv文件。该脚本可以实现自动化地从生意参谋网站获取市场大盘数据。 引用提到了生意参谋接口加密请求参数transit-id和接口响应数据解密的Python源码。这可能是指生意参谋网站使用了加密算法对请求参数和响应数据进行加密和解密操作。通过这些源码,用户可以了解到生意参谋网站的加密算法,并在自己的程序实现相应的解密操作。 总之,Python爬虫生意参谋是一个用于爬取生意参谋网站数据的工具,可以通过自动登录和处理数值图片等方式获取市场大盘数据,并可以使用加密算法对请求参数和响应数据进行加密和解密操作。<span class="em">1</span><span class="em">2</span><span class="em">3</span> #### 引用[.reference_title] - *1* [生意参谋-市场大盘,市场排行爬虫脚本,采用pyppeteer+PIL方式处理数值图片问题,人工登录,并将爬取结果...](https://download.csdn.net/download/weixin_41141394/23529313)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_2"}}] [.reference_item style="max-width: 33.333333333333336%"] - *2* [生意参谋 transit-id data解密 python 源码](https://download.csdn.net/download/qq_42004597/13084593)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_2"}}] [.reference_item style="max-width: 33.333333333333336%"] - *3* [selenium+python代码合集](https://download.csdn.net/download/qq_44700741/88269968)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_2"}}] [.reference_item style="max-width: 33.333333333333336%"] [ .reference_list ]

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 4
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

功克

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值