终于解决大众点评的字体反爬了！

最新推荐文章于 2023-12-30 09:40:05 发布
最新推荐文章于 2023-12-30 09:40:05 发布
阅读量2.6k 收藏 19
点赞数 6
文章标签： python xpath xml
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_49077792/article/details/111369149
版权

为了防止自己忘了，还是在这里写个大概过程吧

还不完善，之后再改

之前虽然我接触过一个字体反爬的网站，但是比较简单的，字体文件直接就在源码里，大众点评的不一样，我们先去网页看一下，可以发现，评价数，人均，地址和口味评分这些都是加密的，他们的class都是shopNum在这里插入图片描述
地名也是加密的，它的class是tagName
在这里插入图片描述
具体地址也是加密的，它的class是address
在这里插入图片描述
接下来寻找字体的css文件，鼠标点击加密处的数据，可以发现右边style这里有个font_family包裹在一个.shopNum里面，.shopNum熟悉吗？.不就是表示class么，那不就和评论处的class=shopName一模一样么。右上角有个css文件，点进去发现有4个woff文件，但有两个一样的，所以就是3个。在这里插入图片描述
通过观察对比发现，所有加密处class的名称和css文件里面的都是一一对应的。
接下来要做的就是把woff文件拿出来，用正则就可以了。
在css文件标题处右键，copy link address得到：
self.zitiUrl = http://s3plus.meituan.net/v1/mss_0a06a471f9514fc79c981b5466f56b91/svgtextcss/12fd772aee773d8a96ad5a354d8b595a.css， 之后就是请求这个网址并补全woff文件的url，之后请求woff文件的url，并保存到本地，会得到3个字体文件

    def get_ziti(self):   # 根据字体的url把字体文件保存到本地
        res = requests.get(self.zitiUrl)
        font = re.findall(r'font-family: "(.*?)";src.*?(//s3plus\.meituan\.net/v1/mss_73a511b8f91f43d0bdae92584ea6330b/font/\w+.woff)', res.text, re.S)        
        font_list = ['https:' + x[1] for x in font]
    	font_name = [x[0] for x in font]
        for i in font_list:
            result = requests.get(i)
            file_name = i.split('/')[-1]
            with open(file_name, 'wb')as f:
                f.write(result.content)

得到结果如下：
在这里插入图片描述
先用python处理一下这个软件，需要导入一个模块

from fontTools.ttLib import TTfont

     def parse_ziti(self, class_name, datas):  # datas表示传进来的经过处理的列表
		# 因为加密用了不同的文件，所以加个名称，便于区别
        if class_name == 'shopNum':   # 评论数， 人均消费， 口味环境服务分数
            woff_name = 'ebb40305.woff'
        elif class_name == 'tagName':   # 店铺分类，哪个商圈
            woff_name = '9b3f551f.woff'
        else:
            woff_name = '1d742900.woff'   # 店铺具体地址
        # 评分
        font_data = TTFont(woff_name)
        font_data.saveXML(woff_name)   # 保存xml便于做分析

得到的xml是这样的：
和class为shopNum的字体文件对应
之后我用High-Logic FontCreator在软件中打开看一下，这个软件百度一下就能下载。
打开字体文件是这样的，唯一不同点就是每个字上面对应的编码，
shopNum对应的字体文件
在这里插入图片描述
在这里插入图片描述
我们再看一下源码中，数字是显示的什么
在这里插入图片描述
（寻找对应关系的时候要看清楚，千万别把加密文件搞错了）
源码中的可以看网页数据是代表的0，正好后4位f530和shopNum字体文件中0上面的编码$F530是一样的。因为字体文件和xml中的name也是一一对应的。所以接下来要做的就是找出字体文件和源码的对应关系；
可以把xml文件中的name和字体文件中的数据拿出来一一对应，组成一个字典，再把网页源码拿出来，修改成和xml中name一样的格式，再拿着修改后的网页源码去找字典中对应的值。
因为不知道怎么把字体文件中的数据拿出来，这里我也是找的别人现成的

 words = '1234567890店中美家馆小车大市公酒行国品发电金心业商司超生装园场食有新限天面工服海华水房饰城乐汽香部利子老艺花专东肉菜学福饭人百餐茶务通味所山区门药银农龙停尚安广鑫一容动南具源兴鲜记时机烤文康信果阳理锅宝达地儿衣特产西批坊州牛佳化五米修爱北养卖建材三会鸡室红站德王光名丽油院堂烧江社合星货型村自科快便日民营和活童明器烟育宾精屋经居庄石顺林尔县手厅销用好客火雅盛体旅之鞋辣作粉包楼校鱼平彩上吧保永万物教吃设医正造丰健点汤网庆技斯洗料配汇木缘加麻联卫川泰色世方寓风幼羊烫来高厂兰阿贝皮全女拉成云维贸道术运都口博河瑞宏京际路祥青镇厨培力惠连马鸿钢训影甲助窗布富牌头四多妆吉苑沙恒隆春干饼氏里二管诚制售嘉长轩杂副清计黄讯太鸭号街交与叉附近层旁对巷栋环省桥湖段乡厦府铺内侧元购前幢滨处向座下臬凤港开关景泉塘放昌线湾政步宁解白田町溪十八古双胜本单同九迎第台玉锦底后七斜期武岭松角纪朝峰六振珠局岗洲横边济井办汉代临弄团外塔杨铁浦字年岛陵原梅进荣友虹央桂沿事津凯莲丁秀柳集紫旗张谷的是不了很还个也这我就在以可到错没去过感次要比觉看得说常真们但最喜哈么别位能较境非为欢然他挺着价那意种想出员两推做排实分间甜度起满给热完格荐喝等其再几只现朋候样直而买于般豆量选奶打每评少算又因情找些份置适什蛋师气你姐棒试总定啊足级整带虾如态且尝主话强当更板知己无酸让入啦式笑赞片酱差像提队走嫩才刚午接重串回晚微周值费性桌拍跟块调糕'

# words中前面两个没拿，那xml中前面两个也不拿
gly_list = font_data.getGlyphOrder()[2:] # 拿出xml中的所有name ['unie8a0', 'unie910', 'unif6a4', 'unif3d3', 'unie2f4', 'unie7a6', 'uniea32', 'unif0f9', 'unie2ac', ...]
new_dict = {} # 创建一个字典
for index,value in enumerate(words):
	new_dict[gly_list[index]] = value 
print(new_dict) 
rel = ''  # 定义一个空字符串, 最后用来拼接处理过的数据
        for j in datas:
            if j.startswith('u'):
                rel += new_dict[j]
            else:
                rel += j
        return rel

得到结果是这样的：
在这里插入图片描述

这样就完成了name和值的对应关系，接下来只需要从网页上把需要的数据拿下来，修改成和new_dict中键一样的uni格式，就可以拿到加密的值了。

    def get_page_info(self):  # 获取网页上需要的数据
       # key_word = input('请输入需要搜索的关键字：')
       # response = requests.get(self.start_url.format(quote(key_word)), headers=self.headers)
       # print(response.status_code)
        with open('dazhong.html', 'w', encoding='utf-8')as f:   # 这里我把html保存到本地方便使用，不然一直请求容易被封ip
            f.write(response.text)
        with open('dazhong.html', 'r', encoding='utf-8') as f:
            html_ = f.read()
        html_ = re.sub(r"&#x(\w+?);", r"*\1", html_)   # 用正则获取网页源码需要的数据，保留括号里的内容，把括号前面的内容替换为*
        html = etree.HTML(html_)
         # 所有数据的标签
        all_info = []
        li_list = html.xpath("//div[@class='content']/div/ul/li")
        for li in li_list:
            item = {}
            item['店铺名'] = li.xpath('./div[2]/div/a/h4/text()')[0]
            item['推荐菜'] = li.xpath('./div[2]/div[4]/a//text()')
            if item['推荐菜'] is not None:
                item['推荐菜'] = ','.join(li.xpath('./div[2]/div[4]/a//text()'))
            else:
                item['推荐菜'] = ''
            # 标签名称
            class_name = li.xpath("./div[2]/div[2]/a[1]/b/svgmtsi/@class")[0]
            tag_name = li.xpath('./div[2]/div[3]/a[2]/span/svgmtsi/@class')[0]
            addr_name = li.xpath('./div[2]/div[3]/span/svgmtsi/@class')[0]
            # 处理加密的数据
            comment_num = li.xpath("./div[2]/div[2]/a[1]/b//text()")   
            # 拿评论的数据comment_num = ['1', '*e2ac', '*f0f9', '*e2ac', '*e8a0']
            comment_num_list = ['uni' + i.strip('*') if i.startswith('*') else i for i in comment_num]
            # 处理：遍历列表，把有*号的*去掉，并与uni拼接成新的数据，如果是没*号的，则放直接在列表里，得到新
            # 的列表comment_num_list = ['1', 'unie2ac', 'unif0f9', 'unie2ac', 'unie8a0']      
            item['评价数'] = self.parse_ziti(class_name, comment_num_list) # 传入参数，调用函数处理得到最后结果 ，{'评价数': '1870'}

            avg_price = li.xpath("./div[2]/div[2]/a[2]/b//text()")   # 人均消费
            avg_price_list = ['uni' + i.strip('*') if i.startswith('*') else i for i in avg_price]
            item['人均'] = self.parse_ziti(class_name, avg_price_list)

            shop_area = li.xpath('./div[2]/div[3]/a[2]/span//text()')   # 商圈
            shop_area_list = ['uni' + i.strip('*') if i.startswith('*') else i for i in shop_area]
            item['商圈'] = self.parse_ziti(tag_name, shop_area_list)

            shop_type = li.xpath('./div[2]/div[3]/a[1]/span//text()')  # 商铺类型
            shop_type_list = ['uni' + i.strip('*') if i.startswith('*') else i for i in shop_type]
            item['分类'] = self.parse_ziti(tag_name, shop_type_list)

            shop_address = li.xpath('./div[2]/div[3]/span//text()')   # 具体地址
            shop_address_list = ['uni' + i.strip('*') if i.startswith('*') else i for i in shop_address]
            item['地址'] = self.parse_ziti(addr_name, shop_address_list)

			zh_comment = li.xpath("./div[2]/span/span//text()")
            zh_comment_list = ['uni' + i.strip('*') if i.startswith('*') else i for i in zh_comment]
            item['综合评分'] = self.parse_ziti(class_name, zh_comment_list)
			all_info.append(item)	 # 把所有数据放一个列表里	
	self.save_to_excel(all_info)  # 调用保存函数
	
 def save_to_excel(self, items):   # 最后保存到excel中
        app = xw.App(visible=True, add_book=False)  # 实例化一个app
        wb = app.books.add()  #  添加一个excel
        sht = wb.sheets['sheet1']  #  给sheet命名
        sht.range('a1').value = list(items[0].keys())   # a1位置作为起点插入一行数据
        for i in range(0, len(items)): 
            # 列表数据要放在循环里 格式是 [{}]
            value_list = list(items[i].values())
            sht.range('A{}'.format(i + 2)).value = value_list
        wb.save('dzdp.xlsx')

最终结果：
在这里插入图片描述

完整代码：

# encoding=utf-8
import os
import requests
import re
import random
import csv
import xlwt
import xlwings as xw

from urllib.parse import quote
from fontTools.ttLib import TTFont
from lxml import etree

USER_AGENTS = [
        "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/535.1 (KHTML, like Gecko) Chrome/14.0.835.163 Safari/535.1",
        "Mozilla/5.0 (Windows NT 6.1; WOW64; rv:6.0) Gecko/20100101 Firefox/6.0",
        "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/534.50 (KHTML, like Gecko) Version/5.1 Safari/534.50",
        "Opera/9.80 (Windows NT 6.1; U; zh-cn) Presto/2.9.168 Version/11.50",
        "Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; Win64; x64; Trident/5.0; .NET CLR 2.0.50727; SLCC2; .NET CLR 3.5.30729; .NET CLR 3.0.30729; Media Center PC 6.0; InfoPath.3; .NET4.0C; Tablet PC 2.0; .NET4.0E)",
        "Mozilla/4.0 (compatible; MSIE 8.0; Windows NT 6.1; WOW64; Trident/4.0; SLCC2; .NET CLR 2.0.50727; .NET CLR 3.5.30729; .NET CLR 3.0.30729; Media Center PC 6.0; .NET4.0C; InfoPath.3)",
        "Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; WOW64; Trident/5.0; SLCC2; .NET CLR 2.0.50727; .NET CLR 3.5.30729; .NET CLR 3.0.30729; Media Center PC 6.0; InfoPath.3; .NET4.0C; .NET4.0E)",
        "Mozilla/5.0 (Windows NT 6.1) AppleWebKit/535.1 (KHTML, like Gecko) Chrome/13.0.782.41 Safari/535.1 QQBrowser/6.9.11079.201",
        "Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 6.1; WOW64; Trident/5.0; SLCC2; .NET CLR 2.0.50727; .NET CLR 3.5.30729; .NET CLR 3.0.30729; Media Center PC 6.0; InfoPath.3; .NET4.0C; .NET4.0E) QQBrowser/6.9.11079.201",
        "Mozilla/5.0 (Windows; U; Windows NT 6.1; en-US) AppleWebKit/534.3 (KHTML, like Gecko) Chrome/6.0.472.33 Safari/534.3 SE 2.X MetaSr 1.0",
        "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/83.0.4103.106 Safari/537.36"
    ]

class DaZhong(object):
    def __init__(self):
        self.zitiUrl = "https://s3plus.meituan.net/v1/mss_0a06a471f9514fc79c981b5466f56b91/svgtextcss/12fd772aee773d8a96ad5a354d8b595a.css"
        # self.url = "http://www.dianping.com/chengdu/ch10"
        self.start_url = 'https://www.dianping.com/search/keyword/8/10_{}'
        self.headers = {
            'User-Agent': random.choice(USER_AGENTS),
            'Referer': 'http://www.dianping.com/',
            'Cookie': 'fspop=test; cy=8; cye=chengdu; _lx_utm=utm_source%3DBaidu%26utm_medium%3Dorganic; _lxsdk_cuid=1767479ff31c8-0efbdbacfb43d6-c791e37-1fa400-1767479ff31c8; _lxsdk=1767479ff31c8-0efbdbacfb43d6-c791e37-1fa400-1767479ff31c8; _hc.v=3ec04228-e642-fce0-7ced-b7b52019b143.1608271921; Hm_lvt_602b80cf8079ae6591966cc70a3940e7=1608271921; s_ViewType=10; _lxsdk_s=1767479ff32-418-c89-5b0%7C%7C32; Hm_lpvt_602b80cf8079ae6591966cc70a3940e7=1608271932'
        }

    def get_ziti(self):   # 根据字体的url把字体文件保存到本地
        res = requests.get(self.zitiUrl)
        font = re.findall(r'font-family: "(.*?)";src.*?(//s3plus\.meituan\.net/v1/mss_73a511b8f91f43d0bdae92584ea6330b/font/\w+.woff)', res.text, re.S)        
        font_list = ['https:' + x[1] for x in font]
    	font_name = [x[0] for x in font]
        for i in font_list:
            result = requests.get(i)
            file_name = i.split('/')[-1]
            with open(file_name, 'wb')as f:
                f.write(result.content)


    def parse_ziti(self, class_name, datas):

        if class_name == 'shopNum':   # 评论数， 人均消费， 口味环境服务分数
            woff_name = 'ebb40305.woff'
        elif class_name == 'tagName':   # 店铺分类，哪个商圈
            woff_name = '9b3f551f.woff'
        else:
            woff_name = '1d742900.woff'   # 店铺具体地址
        # 评分
        font_data = TTFont(woff_name)
        # font_data.saveXML(woff_name)   # 保存xml便于做分析
        words = '1234567890店中美家馆小车大市公酒行国品发电金心业商司超生装园场食有新限天面工服海华水房饰城乐汽香部利子老艺花专东肉菜学福饭人百餐茶务通味所山区门药银农龙停尚安广鑫一容动南具源兴鲜记时机烤文康信果阳理锅宝达地儿衣特产西批坊州牛佳化五米修爱北养卖建材三会鸡室红站德王光名丽油院堂烧江社合星货型村自科快便日民营和活童明器烟育宾精屋经居庄石顺林尔县手厅销用好客火雅盛体旅之鞋辣作粉包楼校鱼平彩上吧保永万物教吃设医正造丰健点汤网庆技斯洗料配汇木缘加麻联卫川泰色世方寓风幼羊烫来高厂兰阿贝皮全女拉成云维贸道术运都口博河瑞宏京际路祥青镇厨培力惠连马鸿钢训影甲助窗布富牌头四多妆吉苑沙恒隆春干饼氏里二管诚制售嘉长轩杂副清计黄讯太鸭号街交与叉附近层旁对巷栋环省桥湖段乡厦府铺内侧元购前幢滨处向座下臬凤港开关景泉塘放昌线湾政步宁解白田町溪十八古双胜本单同九迎第台玉锦底后七斜期武岭松角纪朝峰六振珠局岗洲横边济井办汉代临弄团外塔杨铁浦字年岛陵原梅进荣友虹央桂沿事津凯莲丁秀柳集紫旗张谷的是不了很还个也这我就在以可到错没去过感次要比觉看得说常真们但最喜哈么别位能较境非为欢然他挺着价那意种想出员两推做排实分间甜度起满给热完格荐喝等其再几只现朋候样直而买于般豆量选奶打每评少算又因情找些份置适什蛋师气你姐棒试总定啊足级整带虾如态且尝主话强当更板知己无酸让入啦式笑赞片酱差像提队走嫩才刚午接重串回晚微周值费性桌拍跟块调糕'
        gly_list = font_data.getGlyphOrder()[2:]
        # print(gly_list)  # ['unie8a0', 'unie910', 'unif6a4', 'unif3d3', 'unie2f4', 'unie7a6', 'uniea32', 'unif0f9', 'unie2ac']
        new_dict = {}
        for index, value in enumerate(words):
            new_dict[gly_list[index]] = value
        print(new_dict)
        rel = ''
        for j in datas:
            if j.startswith('u'):
                rel += new_dict[j]
            else:
                rel += j
        return rel


    def get_page_info(self):  # 获取网页上需要的数据
        # key_word = input('请输入需要搜索的关键字：')
        # response = requests.get(self.start_url.format(quote(key_word)), headers=self.headers)
        # print(response.status_code)
        # with open('dazhong.html', 'w', encoding='utf-8')as f:   # 这里我把html保存到本地方便使用，不然超级容易被封ip
        #   f.write(response.text)
        with open('dazhong.html', 'r', encoding='utf-8') as f:
            html_ = f.read()
        html_ = re.sub(r"&#x(\w+?);", r"*\1", html_)   # 网页源码每个数字对应的内容，保留括号里的内容，把括号前面的内容替换为*
        html = etree.HTML(html_)
        # 所有数据的标签
        all_info = []
        li_list = html.xpath("//div[@class='content']/div/ul/li")
        for li in li_list:
            item = {}
            item['店铺名'] = li.xpath('./div[2]/div/a/h4/text()')[0]
            item['推荐菜'] = li.xpath('./div[2]/div[4]/a//text()')
            if item['推荐菜'] is not None:
                item['推荐菜'] = ','.join(li.xpath('./div[2]/div[4]/a//text()'))
            else:
                item['推荐菜'] = ''
            # 标签名称
            class_name = li.xpath("./div[2]/div[2]/a[1]/b/svgmtsi/@class")[0]
            tag_name = li.xpath('./div[2]/div[3]/a[2]/span/svgmtsi/@class')[0]
            addr_name = li.xpath('./div[2]/div[3]/span/svgmtsi/@class')[0]
            comment_num = li.xpath("./div[2]/div[2]/a[1]/b//text()")   # 拿评论的数据['1', '*e2ac', '*f0f9', '*e2ac', '*e8a0']
            # 遍历列表，把*号开头的去掉，并与uni拼接成新的，如果是1，则放在列表里，得到新的列表 ['1', 'unie2ac', 'unif0f9', 'unie2ac', 'unie8a0']
            comment_num_list = ['uni' + i.strip('*') if i.startswith('*') else i for i in comment_num]
            item['评价数'] = self.parse_ziti(class_name, comment_num_list)

            avg_price = li.xpath("./div[2]/div[2]/a[2]/b//text()")   # 人均消费
            avg_price_list = ['uni' + i.strip('*') if i.startswith('*') else i for i in avg_price]
            item['人均'] = self.parse_ziti(class_name, avg_price_list)

            shop_area = li.xpath('./div[2]/div[3]/a[2]/span//text()')   # 商圈
            shop_area_list = ['uni' + i.strip('*') if i.startswith('*') else i for i in shop_area]
            item['商圈'] = self.parse_ziti(tag_name, shop_area_list)

            shop_type = li.xpath('./div[2]/div[3]/a[1]/span//text()')  # 商铺类型
            shop_type_list = ['uni' + i.strip('*') if i.startswith('*') else i for i in shop_type]
            item['分类'] = self.parse_ziti(tag_name, shop_type_list)

            shop_address = li.xpath('./div[2]/div[3]/span//text()')   # 具体地址
            shop_address_list = ['uni' + i.strip('*') if i.startswith('*') else i for i in shop_address]
            item['地址'] = self.parse_ziti(addr_name, shop_address_list)

            # comment_kouwei = li.xpath("./div[2]/span/span[1]/b//text()")  # 口味评分
            # if comment_kouwei:
            #     comment_kouwei_list = ['uni' + i.strip('*') if i.startswith('*') else i for i in comment_kouwei]
            #     item['口味'] = self.parse_ziti(class_name, comment_kouwei_list)
            # else:
            #     item['口味'] = ''
            #
            # comment_huanjing = li.xpath("./div[2]/span/span[2]/b//text()")  # 环境评分
            # if comment_huanjing:
            #     comment_huanjing_list = ['uni' + i.strip('*') if i.startswith('*') else i for i in comment_huanjing]
            #     item['环境'] = self.parse_ziti(class_name, comment_huanjing_list)
            # else:
            #     item['环境'] = ''
            #
            # comment_service = li.xpath("./div[2]/span/span[3]/b//text()")  # 服务评分
            # if comment_service:
            #     comment_service_list = ['uni' + i.strip('*') if i.startswith('*') else i for i in comment_service]
            #     item['服务'] = self.parse_ziti(class_name, comment_service_list)
            # else:
            #     item['服务'] = ''

            zh_comment = li.xpath("./div[2]/span/span//text()")
            zh_comment_list = ['uni' + i.strip('*') if i.startswith('*') else i for i in zh_comment]
            item['综合评分'] = self.parse_ziti(class_name, zh_comment_list)

            # self.save_to_csv(item)
            all_info.append(item)
        self.save_to_excel(all_info)

    # def save_to_csv(self, item):
    #     headline = ['店铺名\t', '推荐菜\t', '分类\t', '评价数\t', '人均\t', '口味\t', '环境\t', '服务\t', '商圈\t', '地址\t']
    #     # for i in range(len(item)):
    #     if not os.path.exists('dazhong.csv'):
    #         with open('dazhong.csv', 'a', newline='', encoding='utf-8')as f:
    #             f.writelines(headline)
    #             f.writelines('\n')
    #             # f.writelines(item.values())
    #     else:
    #         with open('dazhong.csv', 'a', newline='', encoding='utf-8')as f:
    #             f.writelines(item.values())
    #             f.writelines('\n')
    #

    def save_to_excel(self, items):
        app = xw.App(visible=True, add_book=False)
        wb = app.books.add()
        sht = wb.sheets['sheet1']
        sht.range('a1').value = list(items[0].keys())
        for i in range(0, 11):
            # 列表数据要放在循环里 格式是 [{}]
            value_list = list(items[i].values())
            sht.range('A{}'.format(i + 2)).value = value_list
        wb.save('dzdp.xlsx')



if __name__ == '__main__':
    dz = DaZhong()
    # dz.get_ziti()
    # dz.parse_ziti()
    dz.get_page_info()
一根大木头
关注
  • 6
    点赞
  • 踩
  • 19
    收藏
    觉得还不错? 一键收藏
  • 5
    评论
爬虫技术-字体反爬
shifengboy的博客
09-07 1748
文本混淆章节 1. 文本混淆简介 简单而言就是利用前端技术干扰，页面可以正常展示，而使用爬虫下载后无法提取正常的数据。 1.1 常见的干扰方式 字体反爬 2. 字体反爬 2.1 字体反爬简介 ​ 在 CSS3 之前，Web 开发者必须使用用户计算机上已有的字体。目前的技术开发者可以使用@font-face为网页指定字体，开发者可将心仪的字体文件放在 Web 服务器上，并在 CSS 样式中...
字体反爬案例解析：大众点评
weixin_41391619的博客
07-08 1342
以大众点评为例，详细介绍字体反爬，含Python代码
爬虫与反爬虫技术简介
最新发布
qq_53058639的博客
12-30 1772
爬虫分为通用爬虫和聚焦爬虫两大类，前者的目标是在保持一定内容质量的情况下爬取尽可能多的站点，比如百度这样的搜索引擎就是这种类型的爬虫，如图1是通用搜索引擎的基础架构：1.首先在互联网中选出一部分网页，以这些网页的链接地址作为种子URL；2.将这些种子URL放入待抓取的URL队列中，爬虫从待抓取的URL队列依次读取；3.将URL通过DNS解析，把链接地址转换为网站服务器对应的IP地址；4.网页下载器通过网站服务器对网页进行下载，下载的网页为网页文档形式；
大众点评字体反爬解析
weixin_52118017的博客
11-11 1496
简要的分析了字体加密对给出一个解决方案
字体反爬
读书郎
07-20 7760
字体反爬 网页开发者自己创造一种字体，因为在字体中每个文字都有其代号，那么以后在网页中不会直接显示这个文字的最终的效果，而是显示他的代号，因此即使获取到了网页中的文本内容，也只是获取到文字的代号，而不是文字本身。 因为创造字体费时费力，并且如果把中国3000多常用汉字都实现，那么这个字体将达到几十兆，也会影响网页的加载。一般情况下为了反爬虫，仅会针对0-9以及少数汉字进行自己单独创建，其他的还是使用用户系统中自带的字体。 字体反爬解决方法-寻找字体 一般情况下为了考虑网页渲染性能，通常网页开发者会把字
大众点评网css反爬破解
11-07
大众点评网破解css反爬获取评论信息。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。...
大众点评 css反爬解析
qq_38105596的博客
04-12 1336
转载自大众点评还不会爬？跟着我，我教你。谈谈自己跟着写这个的感想吧。 关于如何使用requests来爬取大众点评的数据。 主要分为以下2步： 发现数字出现的规则，css里面的规则，这一步很重要，没有找出规则，无法进行下一步 编码解析css，获取评论数、人均价格、口味、服务、环境评分 1.找到css 根据class值 “djaka” 对应的两个像素值，前面的是控制用哪个数字，...
字体反爬识别。。。。。。
12-21
通过knn算法来识别网站的字体。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。
抖音字体反爬
weizhen11的博客
10-10 1021
什么是字体反爬？ 所谓的字体反爬就是网站一些关键字替换成自己设计的字体，这样用浏览器访问网站的时候会加载这套字体，因此在浏览器中显示是正常的字体；而在源码中这些关键字是乱码的，根本无法识别，采集下来是无用的信息 使用字体反爬的例子：抖音、大众点评、58等，如下是抖音的 解决字体反爬，以抖音为例 步骤： 1 提取抖音个人主页链接 个人主页—>右上角—>分享—>复制链接，在浏览器...
爬虫 — 字体反爬
记录学习过程，欢迎讨论交流~
09-21 2115
安装字体软件 FontCreator、百度智能云文字识别、安装 Tesseract
CSS 反爬之字体反爬
m0_53227339的博客
10-17 625
郑重声明：本项目的所有代码和相关文章， 仅用于经验技术交流分享，禁止将相关技术应用到不正当途径，因为滥用技术产生的风险与本人无关。
大众点评反爬
Tilyp的博客
03-23 1309
大众点评美食类店铺信息部分被svg文件中的数据给代替了，所以爬取的时候抓不到，如上图所显示，经过仔细查找发现了span和svg中的数据的对应关系 数字和汉字在不同的svg文件中，他们的对应关系也不一样，但是都是与他们的css有关系，通过位置对应数据来加载界面，以后分开说明数字和汉字的对应关系 先说数字的对应关系 上图我们截取了数字“4”的相应数据，可以看到background中的（x...
字体反爬之大众点评
老肥码码码
08-02 575
大众点评的美食评论是大家平时选择吃饭地点的一种参考，通过他人品尝的经验来进行选择。今天就来爬一下大众点评吧~观察网页我们首先打开大众点评，进入美食板块，观察每家店的评论所在位置。接着打开...
字体反爬讲解
m0_54634272的博客
07-04 250
什么是字体反爬？ 就是网页的制作者，它在发布他网页数据的时候。将其中一部分的字体变成乱码。即使你把网页的数据爬取下来，你也获取不到真实数据的样貌。这样就达到了一个反爬虫的目的 如何解决字体反爬？ 1 下载.ttf文件 2 将.ttf文件转换成xml文件 3 分析字体规律找到映射关系 测试网站 https://club.autohome.com.cn/bbs/thread/665330b6c7146767/80787515-1.html ...
爬虫学习笔记（二十）—— 字体反爬
别呀的博客
08-15 3362
文章目录一、什么是字体反爬二、编码原理2.1、ASCII编码对照表2.2、Unicode编号2.3、UTF-8编码方式2.4、字符矢量图三、案例：58同城反爬字体3.1、代码实现 一、什么是字体反爬 网页开发者自己创造一种字体，因为在字体中每个文字都有其代号，那么以后在网页中不会直接显示这个文字的最终的效果，而是显示他的代号，因此即使获取到了网页中的文本内容，也只是获取到文字的代号，而不是文字本身。 简单的说，字体反爬指的就是浏览器页面上的字符和调试窗口或者源码中的内容，显示的不一样，这就是字体反爬。
python反爬大众点评数据
07-08
Python反爬取大众点评数据可以采用以下几种方法： 1. 使用代理IP：通过使用代理IP可以隐藏爬虫的真实IP地址，避免被大众点评的反爬机制检测到。可以使用第三方代理服务提供商或者自建代理池。 2. 设置请求头信息：模拟真实的浏览器请求，设置合理的User-Agent、Referer、Cookie等请求头信息，以避免被识别为爬虫。 3. 频率控制：控制爬取请求的频率，避免短时间内发送大量请求，可以设置合理的请求间隔时间。 4. 验证码处理：大众点评可能会出现验证码的情况，可以使用第三方验证码识别服务或者手动输入验证码进行处理。 5. 动态页面渲染：大众点评的数据可能是通过JavaScript动态加载的，可以使用无头浏览器（如Selenium）模拟浏览器行为来获取数据。 需要注意的是，尊重网站的反爬策略和数据使用规定，遵守法律法规和道德原则。在进行任何爬取操作之前，请先仔细阅读网站的Robots.txt文件和相关使用条款，确保你的爬虫行为合法合规。
评论 5
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值