大众点评数据爬虫，破解反爬虫（学习使用）

最新推荐文章于 2024-08-08 07:52:01 发布
最新推荐文章于 2024-08-08 07:52:01 发布
阅读量6.4k 收藏 40
点赞数 5
分类专栏： python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_41562377/article/details/105539643
版权

大众点评反爬虫研究学习

研究前

  • 大众点评不同的网页处理的反爬是不一样的。

反爬虫的思想理论

实际操练

  • 打开网址

    首先打开大众点评的网址，点击这里。以这个为例子，记得先在网站上登录
    图 2-1
    ***************************************************************图1-1

    根据反爬虫思想理论，查看字体映射的背景样式

  • 请求3上的URL，记得在URL前加上https:

    https://s3plus.meituan.net/v1/mss_0a06a471f9514fc79c981b5466f56b91/svgtextcss/18c453dbeeb8a76baa380d4875d30f58.svg

  • 请求得到结果如下图
    在这里插入图片描述
    仔细观察可以发现里面有地址所需要的文字。我们检查网页源代码

    字体“路”对应的坐标，如图1-1中的4.（-154.0px -171.0px;），解的时候要把负号去掉，也就是说 ：路（154,171）。
    根据字体映射的思想理论：

    在这里插入图片描述

    至此，就可以解出文字的位置信息。
    那么怎么得出那么多的字体映射 background-image呢？

  • 查看网页源代码的时候，发现了一个css样式，里面包含了所有的svg ：backgroud-image
    在这里插入图片描述

    首先先使用加载 //3plus…的css文件，可以得到一个很全的css位置样式。记得在URL前面加上 https:
    接下来 Ctrl +F 键输入background-image
    在这里插入图片描述

    发现有三个svg，就是bacground-image url括号里面的连接，我们分别加载它，记得加上https：

    在这里插入图片描述
    1-第一个

    https://s3plus.meituan.net/v1/mss_0a06a471f9514fc79c981b5466f56b91/svgtextcss/894b2de6db675ff13bf99df4e824e029.svg

    加载第一个得到,如下图所示，可以猜测是评论方面的.svg

    在这里插入图片描述

    结果发现和评论上的svg是一样的，如下图
    在这里插入图片描述

    第二个

    https://s3plus.meituan.net/v1/mss_0a06a471f9514fc79c981b5466f56b91/svgtextcss/18c453dbeeb8a76baa380d4875d30f58.svg

    加载第二个
    在这里插入图片描述

    推测是和地址一样的。结果也是这样。现在可以发现一个东西，地址和评论对应的加密是不一样的。
    在这里插入图片描述

    第三个

    https://s3plus.meituan.net/v1/mss_0a06a471f9514fc79c981b5466f56b91/svgtextcss/a9ca1463919b05739b97df87c6ae0b74.svg

    加载之后得到数字，同理应该是和电话一样的
    在这里插入图片描述

至此可得结论：电话的加密映射是和评论的加密方式是一样的。而对于这样的字体映射的解决方法也是类似

在这里插入图片描述

得到于 的字体大小为14，对应的坐标为：于（560，1668），负号去掉。打开字体对应的svg，如下图
在这里插入图片描述

所以剩下的就可以针对映射了

字体大小为14，有些的为12，这个需要注意一下
在这里插入图片描述

svg 的连接不是固定的，会变，有时第一个 svg 连接是评论的，第二个svg连接是电话的，第三个svg连接是地址的。所以我们需要根据图1-1上的第6点，class的名称来判断 那个是地址的svg，那个是电话的svg，那个是地址svg。
因为css样式上有

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
这三个是不是很熟悉，正是对应的svg
评论的 class 段落
在这里插入图片描述
地址的 class 段落
在这里插入图片描述
电话的 class 段落
在这里插入图片描述
至此，写代码连接起来就好了

部分代码如下

在这里插入图片描述
在这里插入图片描述
成功截图：
在这里插入图片描述
在这里插入图片描述

参考博文连接为：https://blog.csdn.net/weixin_39190382/article/details/89199619

小牛头#
关注
专栏目录
大众点评反爬虫简单研究之一
Ghosind
03-27 2238
简单研究大众点评使用自定义字体实现反爬虫。
Python爬虫丨大众点评数据爬虫教程（1）
weixin_46161676的博客
04-23 2430
大众点评数据获取 — 基础版本 大众点评是一款非常受普罗大众喜爱的一个第三方的美食相关的点评网站。 因此，该网站的数据也就非常有价值。优惠，评价数量，好评度等数据也就非常受数据公司的欢迎。 今天就写了一个简单的大众点评列表页数据抓取demo。 希望对看到这篇文章的朋友有所帮助。 环境和工具包： python 3.6 自建的IP池（代理）（使用的是ipidea的国内代理） parsel（页面解析...
爬取大众点评网商家信息的爬虫
05-09
用于爬取大众点评网上的商户信息，代码可以直接运行在神箭手云爬虫开发平台（shenjianshou.cn）上。
大众点评反爬虫解析
superDE009的博客
08-10 2910
记大众点评反爬虫解析 首先声明：博客内容禁止用于商业用途，仅做学习交流。如果侵犯了您的利益和权益,请联系我，我将删除该博客。 最近用大众点评网页版时，发现大众点评上所有的店家的信息都是无法复制的（后知后觉），老反爬虫了，十分好奇其原理，于是找了各种技术帖子，终于算是搞明白了，在此做一个笔记。 一、原理解析 当我们打开大众点评商店的页面时，我们是可以看到商店的地址与电话等信息的 但是若我们选中这些内容复制粘贴到txt中时，信息就会消失 查看html源码 那么首先肯定是去查看html页面源码中的内容了 首先
Python 爬虫项目实战（六）：爬取大众点评商家数据
热门推荐
Flag少侠的博客
08-05 1万+
网络爬虫（Web Crawler），也称为网页蜘蛛（Web Spider）或网页机器人（Web Bot），是一种按照既定规则自动浏览网络并提取信息的程序。爬虫的主要用途包括数据采集、网络索引、内容抓取等。robots.txt大多数网站都有一个robots.txt文件，规定了哪些页面允许被爬取，哪些不允许。爬虫应当尊重这些规则。通过以上方法和原则，可以编写高效、可靠且合规的网络爬虫来满足数据采集的需求。
大众点评文字反爬
qq_43530597的博客
04-10 3628
【注】1、2022年4月10日抓取的大众点评的评论数据 2、该网站采用了字体反爬，是抓取过程中的主要难点 3、网站反爬更新的速度很快，基本上几个礼拜，一个月就会更新一次，所以本文的代码直接copy的话，可能会执行不了。但是大概思路是没问题的 一：分析网站 经过分析，发现网站的评论 被加密了。而且他不是全部加密他是有几个字进行了加密，有几个字又没有进行加密，这无疑是增加了我们爬取的工作量，但是，第一步应该还是先进行解密，即找到对应的css字体加密文件（.woff文件） 2、如何打开我们下载的woff
python爬虫——大众点评svg反爬（仅供学习使用）
qq_39352237的博客
11-24 571
学爬虫有大半年，仅仅会一些基础的爬虫，对一些反爬有深度的反爬就over了，最近在学svg反爬与字体反爬，然后用大众点评练一下。当然会有代码跑起来效率不高的的地方以及错误，大家可以指点。 前言 大众点评是一款非常受大众喜爱的一个第三方的美食相关的点评网站。从网站内可以推荐吃喝玩乐优惠信息，提供美食餐厅、酒店旅游、电影票、家居装修、美容美发、运动健身等各类生活服务，通过海量真实消费评论的聚合，帮助大家选到服务满意商家。因此，该网站的数据也就非常有价值。优惠，评价数量，好评度等数据也就非常受数据公司的欢迎。 详情
CSS反爬虫 大众点评
qq_42293758的博客
04-23 1534
在爬虫时，我们会经常遇到一些反爬虫的例子，网站上通过反爬虫便使得我们无法获取真实的数据信息，有兴趣的同学可以看下这篇文章(点我呀)，其中介绍了多种的反爬虫和对应的策略。 在大多数数据较多的网站中，其经常会使用CSS反爬虫机制来阻止我们对其中信息的访问，因此想要获取我们需要的数据信息，就必须要对这种反爬虫加密进行破解。我们以大众点评中的点评数量为例，来讲解一下其具体的破解方法。 我们首先在浏览器种打...
java爬虫，利用代理IP爬取大众点评网站内容.zip
03-08
反爬虫应对： 由于爬虫的存在，一些网站采取了反爬虫措施，如验证码、IP封锁等。爬虫工程师需要设计相应的策略来应对这些挑战。 爬虫在各个领域都有广泛的应用，包括搜索引擎索引、数据挖掘、价格监测、新闻聚合等...
大众点评爬虫，爬取评论数据、评论者信息.zip
01-19
反爬虫应对： 由于爬虫的存在，一些网站采取了反爬虫措施，如验证码、IP封锁等。爬虫工程师需要设计相应的策略来应对这些挑战。 爬虫在各个领域都有广泛的应用，包括搜索引擎索引、数据挖掘、价格监测、新闻聚合等...
scrapy抓取数据存储至本地mysql数据库-大众点评爬虫.zip
03-01
反爬虫应对： 由于爬虫的存在，一些网站采取了反爬虫措施，如验证码、IP封锁等。爬虫工程师需要设计相应的策略来应对这些挑战。 爬虫在各个领域都有广泛的应用，包括搜索引擎索引、数据挖掘、价格监测、新闻聚合等...
数据抓包工具，可以抓取大众点评的所有数据
09-16
可以抓取大众点评网的数据 包括图片信息。链接地址等
网络爬虫技术Jsoup的使用，来获取大众点评 健身场馆的有关数据.zip
03-06
反爬虫应对： 由于爬虫的存在，一些网站采取了反爬虫措施，如验证码、IP封锁等。爬虫工程师需要设计相应的策略来应对这些挑战。 爬虫在各个领域都有广泛的应用，包括搜索引擎索引、数据挖掘、价格监测、新闻聚合等...
大众点评商家评论爬虫.zip
03-01
反爬虫应对： 由于爬虫的存在，一些网站采取了反爬虫措施，如验证码、IP封锁等。爬虫工程师需要设计相应的策略来应对这些挑战。 爬虫在各个领域都有广泛的应用，包括搜索引擎索引、数据挖掘、价格监测、新闻聚合等...
大众点评文字反爬破解
李孟笛的博客
01-04 1497
我刚开始就是这么干的，但是最后发现，这个网页渲染不是用了三四个字体文件吗，结果在不同文件里，‘e605’代表的不只是我，一个文件里‘e605’代表‘我’，可能另一个文件里会是‘你’，‘他’。前面写了58同城的字体反爬，这几天又跟大众点评的文字反爬杠上了，多方查找，各种踩坑，好多文章是之前的解决办法，大众已经更改了反爬方式，好在磕磕绊绊终于是搞定了。好了，这就算初步完成了。这样一来，我们可以先根据其中一个文件，手动写出字体与编码的对应关系，然后其他文件来了，我们就可以根据对比x,y,on值推出它对应的字体。
探索《大众点评爬虫》：高效抓取数据的新工具
gitblog_00036的博客
04-03 1053
探索《大众点评爬虫》：高效抓取数据的新工具 dianping_spider大众点评爬虫（全站可爬，解决动态字体加密，非OCR）。持续更新项目地址:https://gitcode.com/gh_mirrors/di/dianping_spider 在大数据时代，数据是宝贵的资源，尤其是对于商家和市场研究者来说。 创建了一个名为 的开源项目，它是一个基于 Python 的爬虫框架，用于抓取大众点评...
Sniper：高效且灵活的大众点评爬虫工具
gitblog_00552的博客
08-08 666
Sniper：高效且灵活的大众点评爬虫工具 dianping_spider大众点评爬虫（全站可爬，解决动态字体加密，非OCR）。持续更新项目地址:https://gitcode.com/gh_mirrors/di/dianping_spider 在数据驱动的时代，获取和分析数据的能力变得尤为重要。Sniper，一款基于Python的开源爬虫工具，专为大众点评网站设计，能够高效地爬取搜索页、详情页...
神奇的反爬措施--大众点评
weixin_40444270的博客
12-10 4460
大众点评的店面详细信息比如地址，电话号码，评分等一系列的数字在f12下都找不到 只有1这个数字显示，其他的都被莫名其妙的标签占据。 其实破解这个很简单，我开始以为是在页面源代码中显示（script标签内），发现并么有，只有地址是在页面内源代码显示； 然后我觉得是请求ajax，就寻找新的请求里的看看是否返回了相应的信息，发现也没有； 再然后我觉得是在js的加密，使...
使用影刀采集大众点评数据：打造自动化数据采集工具
FLK_9090的博客
04-10 2254
影刀是一款功能强大的自动化流程处理工具，主要用于模拟人工操作实现自动化任务。影刀提供了直观的图形化界面，使用户可以轻松地创建和管理自动化任务，无需编写复杂的代码。影刀支持模拟鼠标点击、键盘输入、页面滚动等各种操作，能够应对多种场景的自动化需求。用户可以根据实际需求定制自己的自动化任务，灵活配置各种操作和条件，实现个性化的自动化流程。影刀的自动化执行速度快，执行准确度高，能够大大提高工作效率和数据采集的准确性。自动化采集网页数据大规模网页信息提取数据挖掘和分析信息监控与更新。
python爬虫爬取大众点评数据代码
最新发布
09-08
Python爬虫是一种自动化抓取网页数据的程序，使用Python语言可以编写出各种功能强大的爬虫。在编写爬虫程序时，通常会用到如`requests`库进行网络请求，`BeautifulSoup`或`lxml`等库来解析HTML页面。 以下是一个简单的Python爬虫示例，用于爬取大众点评的某一页数据。请注意，由于网站的结构可能随时更改，以下代码可能需要根据实际情况进行调整。 ```python import requests from bs4 import BeautifulSoup # 目标URL，这里需要替换成实际要爬取的大众点评页面地址 url = 'https://www.dianping.com/某城市/某分类' # 发送HTTP请求 headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3'} response = requests.get(url, headers=headers) # 检查请求是否成功 if response.status_code == 200: # 使用BeautifulSoup解析HTML soup = BeautifulSoup(response.text, 'lxml') # 提取信息，这里以提取店铺名称和评分为例 list = [] for item in soup.find_all('div', class_='店铺信息类名'): # 需要根据实际的HTML结构替换'店铺信息类名' name = item.find('a', class_='店铺名称类名').text # 替换'店铺名称类名' rating = item.find('span', class_='评分类名').text # 替换'评分类名' list.append({'name': name, 'rating': rating}) # 打印提取的信息 for store in list: print(store) else: print("请求失败，状态码：", response.status_code) ``` 在实际使用中，大众点评网站可能有反爬虫措施，如动态加载内容、验证码、IP限制等。这时可能需要使用更高级的技术如Selenium进行模拟浏览器操作，或者设置合适的请求间隔、使用代理等方法。 使用爬虫时，请遵守相关法律法规和网站的使用协议，不要进行任何侵犯隐私或违法的行为。
评论 8
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值