爬取大众点评美食店铺信息，解密_token的思路

最新推荐文章于 2024-08-05 16:50:32 发布
最新推荐文章于 2024-08-05 16:50:32 发布
阅读量4.1k 收藏 16
点赞数 3
分类专栏： python 文章标签： js混淆 爬虫 python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_40522828/article/details/88417485
版权
本文介绍如何爬取大众点评美食店铺信息并解密_token。通过观察xhr请求，发现_token可能经过压缩和Base64加密。通过Python的decode和decompress方法，成功解码出_token和sign。关键在于找到生成_token的函数Rohr_Opt，并通过单步调试确定加密过程，从而解密出所需信息。
摘要由CSDN通过智能技术生成

爬取大众点评美食店铺信息，解密_token的思路

先随意进入一个店铺的链接，例如：http://www.dianping.com/shop/127857802

进入之后打开控制台，进入之后选择xhr，即筛选出动态加载的链接
在这里插入图片描述
可以看到图片里面就有一部分的详情内容，我们看一下它的请求头，发现有个_token参数
在这里插入图片描述
但我们看不出它是什么内容，因为被加密了，也不知道它的加密方式，但我们多打开几个网页来看它的token参数，会发现有时候它的末尾有个=号，这说明很有可能是先压缩再进行base64加密的结果，所以就实验一下。

放到pycharm中执行decode和decompress方法，结果如下
在这里插入图片描述
这样token就出来了，里面还有个sign参数，其实也是一样的方法，先压缩再base64加密生成的。

然后全局搜索_token参数

最低0.47元/天 解锁文章
CrazyBuLLo
关注
专栏目录
大众点评，美团 token学习（2019.11.11最新最新）
皮皮王的专栏
11-12 1493
注：本文仅限于学习使用，如果对网站隐私的侵犯，请及时私信我，立即删除 最近抽出了一点点的时间，好久没有更新博客了，太忙了；这些天在搞美团和点评的一些东西，后来发现网上已经有好多破解的文章了，但看了一下都写的不是很清楚，今天给大家更新一个最新的（今天19年双11哦），当然相关的文章网上也有很多，大家都可以参考学习，以上工具我就不出文章了，需要的看我下面文章最后一条，谢谢大家 1.打开chrome...
破解大众点评token
qq_14955245的博客
12-17 2847
  {"id":0,"name":"极炙·台灣精致炭火烤肉","branchName":"","altName":"","shopPower":50,"shopType":10,"priceText":"¥216/人","address":"天河路178-
Python 爬虫项目实战（六）：爬取大众点评商家数据
最新发布
Flag少侠的博客
08-05 1万+
网络爬虫（Web Crawler），也称为网页蜘蛛（Web Spider）或网页机器人（Web Bot），是一种按照既定规则自动浏览网络并提取信息的程序。爬虫的主要用途包括数据采集、网络索引、内容抓取等。robots.txt大多数网站都有一个robots.txt文件，规定了哪些页面允许被爬取，哪些不允许。爬虫应当尊重这些规则。通过以上方法和原则，可以编写高效、可靠且合规的网络爬虫来满足数据采集的需求。
Python 爬取大众点评 50 页数据，最好吃的成都火锅竟是它！
程序人生的博客
12-26 3206
作者 | 胡萝卜酱责编 | 伍杏玲成都到处都是火锅店，有名的店，稍微去晚一点，排队都要排好久，没听说的店，又怕味道不好。那么如何选择火锅店呢？最简单的肯定是在美团。大众点...
美团、大众点评 token最新算法——宇宙第一简洁版
weixin_43151443的博客
03-08 3914
人狠话不多，直接上代码 token有效时间只有几十秒，每次调用直接生成，原理网上一大堆，我这个为宇宙第一简洁版 import base64, zlib, time info = str({“rId”:"",“ts”:int(time.time()*1000),“cts”:int(time.time()*1000)+100,“brVD”:[],“brR”:[],“bI”:[],“mT”:[],“kT...
美团、大众点评 token最新算法——宇宙第一简洁版
国家一级程序员
04-06 1415
人怂话不多，直接上代码 token有效时间只有几十秒，每次调用直接生成，原理网上一大堆，我这个为宇宙第一简洁版 import base64, zlib, time info = str({“rId”:"",“ts”:int(time.time()*1000),“cts”:int(time.time()*1000)+1000000,“brVD”:[],“brR”:[],“bI”:[],“mT”:[]...
爬取大众点评网的某城市美食店铺数据
weixin_45540797的博客
11-09 2573
爬取大众点评网的某城市美食店铺数据
python爬取大众点评评论_python爬取大众点评评论
weixin_39820185的博客
12-05 1218
import osimport randomimport timeimport requestsfrom spider.get_ip import getIpList, getHeaderfrom utils.read_write import writeOneCsv, readCsv, writeOneJson, readJson, writeCsv, writeOneTxtfrom utils...
java token 加密解密_Token的解密和加密
weixin_39816062的博客
02-28 2067
首先引入pom依赖com.auth0java-jwt3.4.0加密Tokenimport java.util.Calendar;import java.util.Date;import com.auth0.jwt.JWT;import com.auth0.jwt.algorithms.Algorithm;import com.baidu.websocket.core.constans.SysCfg...
JAVA-springMVC-weixin.zip_mvc模式_timestamp nonce_token java_信息互通_
09-20
当我们填好配置信息后微信服务器发起一个GET请求到我们在公众平台配置的服务器url地址，微信方将带上signature，timestamp，nonce，echostr四个参数，我们自己服务器通过拼接公众平台配置的token，以及传上来的...
java 获取access_token_获得长期有效的access_token
weixin_33894886的博客
02-16 1612
为了获得长期有效的access_token,不能每次都从服务器生成，本文采用存储在文件中，超过一定时间再定时刷新的方法，直接看代码。import java.io.File;import java.io.FileInputStream;import java.io.FileNotFoundException;import java.io.FileOutputStream;import java.io...
最简单的大众点评toekn值
weixin_30533797的博客
05-30 210
import base64, zlib, time # # #加密 压缩 # base64.b64encode() # zlib.compress() # #解密 解压 # base64.b64decode() # zlib.decompress() # 加密token # 时间戳 *1000 ts = int(time.time()*1000) # 时间戳 *100...
python爬取大众点评某城市美食类数据
weixin_41259961的博客
06-03 3579
我一个朋友是做市场调查的，前段时间他想分析一下某个城市的餐饮或美食市场状况，找到我让我帮他采集一些相关数据。经过讨论我们觉得大众点评的数据挺适合的，大众点评是一款非常受大众喜爱的一个第三方的美食相关的点评网站，从网站内可以推荐吃喝玩乐优惠信息，提供美食餐厅、酒店旅游、电影票、家居装修、美容美发、运动健身等各类生活服务，通过海量真实消费评论的聚合，帮助大家选到服务满意商家。因此，该网站的数据也就非常有价值。优惠，评价数量，好评度等数据也就非常受数据公司的欢迎。也记录一下过程。
我用Python爬取美食网站3032个菜谱并分析，真香！
菜J学Python的博客
07-15 3585
这是巨变的中国，人和食物，比任何时候走的更快。近日，J哥为了寻味中国，奔走于某五线城市的大街小巷，结果除了累，啥也没寻到。 于是，J哥默默打开了各大美食网站，如豆果美食、下厨房、美食天下等。经过甄选，最终爬取了豆果网最新发布的中国菜系共3032个菜谱，然后清洗数据并做可视化分析，试图走上美食博主的康庄大道。 数据获取 豆果美食网的数据爬取比较简单，如果您对爬虫感兴趣，可查看J哥往期原创文章「实战|手把手教你用Python爬虫(附详细源码)」，思路一致。 本文爬取的数据范围为川菜、粤菜、湘菜等八个中国菜系.
如何突破大众点评接口风控？
FeilyZhang的博客
02-14 4205
在大众点评网的爬取过程当中，充满了大量的接口风控，对于敏感接口的请求均会要求携带_token参数，因此该参数的构造对于爬取地顺利进行极为重要。本文通过大众点评网的登录过程为例，详细介绍_token参数的生成逻辑，以实现正常爬取。
JS逆向加密——点评店铺详情_token参数(三)
含笑
03-04 988
点评店铺详情_token参数 网址 ：http://www.dianping.com/shop/F4nE08K09Ptc47y4 这个和 美团是一样的 token加密 可以在请求地址 找到allReview 的请求链接，请求参数有多个，但是多次请求对比发现只有 token 参数是变化的 这些请求都xhr的，也都有token参数，走的是同一个逻辑 注意点： 这个token不是监测的，是时间过期的 后面测试发送，参数也是随便给的，后端没有判断 现在来分析 _token 参数...
破解花式反爬之大众点评-上
Qwertyuiop2016的博客
11-26 5040
常规的反爬机制有访问频率限制、cookie限制、验证码、js加密参数等。目前解决不了的js加密是今日头条的_signature参数、京东的s参数(在搜索结果的ajax中，返回的结果根据s参数的不同而不同，目前没有发现规律)、新版12306登陆时的callback参数等 而今天的网站的反爬机制是目前我见过的最有水平的，网址：http://www.dianping.com/， 以上的反爬机制它都有，而...
Python 爬虫进阶必备 | 某众点评 Web 加密参数 _token 逻辑分析
咸鱼学Python的博客
07-05 462
点击上方“咸鱼学Python”，选择“加为星标”第一时间关注Python技术干货！今日网站aHR0cHM6Ly93d3cuZGlhbnBpbmcuY29tL3Nob3AvRzNybjh4b...
C#实现微信access_token获取与签名验证
在C#编程中，获取微信access_token是一个关键任务，特别是在处理微信文章的二次转发时，确保标题和图片信息不会丢失。access_token是微信开放平台提供的一个临时密钥，用于与微信服务器进行安全通信，验证应用的身份...
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值