python selenium 大众点评餐厅信息+用户评论 爬虫

这次爬取的目标是大众点评里餐厅的信息以及用户的评论。
大众点评的反爬内容比较丰富,这里也只是记录了如何通过selenium模拟访问大众点评,以及大众点评的woff文件构建字典并对加密文字进行替换。

目标url='http://www.dianping.com/shop/G7RgscHLjDjXY9hg'

进入目标网页,对我们想要的商店名进行分析,发现它在开发者工具与页面显示的并不一样,
同时发现这个字体的"font-family"属性为’PingFangSC-Regular-address’。

继续分析其他加密字体,可以发现这样一个规律:

不同位置有不同font-family:
(店)中文：PingFangSC-Regular-address
(店)数字：PingFangSC-Regular-num
(顾客)评价：PingFangSC-Regular-review
(店)营业时间 数字:PingFangSC-Regular-hours 
(店)营业时间 中文:PingFangSC-Regular-shopdesc 
推荐菜:PingFangSC-Regular-dishname

同时可以注意到:加密的字中都有一个相同的css地址,如上图箭头所指。

http://s3plus.meituan.net/v1/mss_0a06a471f9514fc79c981b5466f56b91/svgtextcss/73c76f0d91f3b846605b9aa7a7cfc6e8.css

转到链接所指向的网页地址,可以发现该文件是以这样的形式构成的:
这样的结构正好有6个,与上文分析的数目相同。

@font-face {
    font-family: "PingFangSC-Regular-xxxxxx";
    src: url("//s3plus.meituan.net/v1/mss_73a511b8f91f43d0bdae92584ea6330b/font/xxxx.eot");
    src: url("//s3plus.meituan.net/v1/mss_73a511b8f91f43d0bdae92584ea6330b/font/xxxxx.eot?#iefix") format("embedded-opentype"),url("//s3plus.meituan.net/v1/mss_73a511b8f91f43d0bdae92584ea6330b/font/xxxxx.woff");
}
.dishname {
    font-family: 'PingFangSC-Regular-xxxxx';
}

其中的.woff文件就是我们要用来解密的字体文件,下载字体文件并通过
http://blog.luckly-mjw.cn/tool-show/iconfont-preview/index.html
网址在线预览一下:(这里以adders为例,每天的字体文件可能不同,仅做示范)

可以到网页中加密的文字的Unicode编码能与woff文件中的“吉”对应,因此只要利用woff文生成一个字典,就能通过字典替换得到真正的文字了。

因此 编写爬虫的基本思路为:
1.获取网页内容
2.获得带有woff文件地址的css文件
3.对css文件发起请求得到woff文件的地址
4.分别对woff文件的地址发起请求，得到所有的woff文件
5.利用woff文件生成字典
6.利用字典解密,并保存得到的数据

引用的库

import requests
from lxml import etree
from selenium import webdriver
import time
import numpy
import re
from fontTools.ttLib import TTFont  # 解析字体文件的包
from PIL import Image, ImageDraw, ImageFont  #绘制图片
from selenium.webdriver.chrome.options import Options
from aip import AipOcr
import os

获取网页内容

url='http://www.dianping.com/shop/G7RgscHLjDjXY9hg'
options = Options()
options.add_experimental_option("debuggerAddress", "127.0.0.1:9222")
wb=webdriver.Chrome(options=options)
wb.get(url)
re_text=wb.page_source

#数据读取并保存
dz=DZDP_HTML(re_text=re_text)
dc=dz.dict_dict#传入总字典
tree=etree.HTML(re_text)
data=get_datas_by_xpath(tree,dc)
json_str = json.dumps(data,indent=4,ensure_ascii=False)
with open('cs.json','w',encoding='utf-8') as f:
    f.write(json_str)

由于直接使用selenium访问会被检测到,参考了https://www.cnblogs.com/triangle959/p/12015179.html
文章采用以上方式避免了被检测成功获取网页源代码

获取css地址,匹配woff地址

def get_fonts_css(re_text):
    # 传入selenium得到的网页内容 通过正则提取到各个字体对应的url链接
        css_gz=re.compile(r'(s3plus.meituan.net.*?.\.css)',re.S)
        css_url="http://"+css_gz.search(re_text).group(1)
        req=requests.get(url=css_url).text
        # return req.text

        url_gz=re.compile(r',url\("\/\/(s3plus.meituan.net.*?\.woff)',re.S)
        font_gz=re.compile('font-family: "PingFangSC-Regular-(.*?)";',re.S)
        url_list=re.findall(url_gz,req)
        font_list=re.findall(font_gz,req)
        font_url_dict={}
        for x,y in zip(url_list,font_list):
            font_url_dict[y]=x
        return font_url_dict#得到类型名:网址 的字典 件   

分别请求,得到各个woff文件

def down_fonts_url(font_url_dict):
    # 传入get_fonts_css得到的 字典 遍历后进行下载对应的woff文件
    for key,url in font_url_dict.items():
            url="http://"+url
            res=requests.get(url).content
            with open(key+".woff",'wb') as f:
                 print(key+".woff文件下载完成!")
                 f.write(res)

利用woff文件生成字典

class DZDP_HTML(object):
    def __init__(self,re_text):
        super().__init__()
        dict=self.__get_fonts_css(re_text)
        self.__down_fonts_url(dict)

        self.num_dict=       self.__get_fonts_dict("num")
        self.dishname_dict=  self.__get_fonts_dict("dishname")
        self.review_dict=    self.__get_fonts_dict("review")
        self.hours_dict=     self.__get_fonts_dict("hours")
        self.address_dict=   self.__get_fonts_dict("address")
        self.shopdesc_dict=  self.__get_fonts_dict("shopdesc") 
        self.dict_dict={
            "num":self.num_dict,
            "dishname":self.dishname_dict,
            "review":self.review_dict,
            "hours":self.hours_dict,
            "address":self.address_dict,
            "shopdesc":self.shopdesc_dict
        }
      
    def __get_fonts_ocr(self,filename):
        APP_ID = ' '
        API_KEY = ' '
        SECRET_KEY = ' '
        aipOcr=AipOcr(APP_ID, API_KEY, SECRET_KEY)
        # 读取图片
        filePath = filename+".jpg"
        def get_file_content(filePath):
            with open(filePath, 'rb') as fp:
                return fp.read()
        # 定义参数变量
        optionss = {
            'detect_direction': 'true',
            'language_type': 'CHN_ENG',
        }
        # 网络图片文字文字识别接口
        result = aipOcr.webImage(get_file_content(filePath),optionss)
        return result

    def __get_fonts_dict(self,fontpath):

        font = TTFont(fontpath+'.woff')  # 打开文件
        codeList = font.getGlyphOrder()[2:]
        im = Image.new("RGB", (1800, 1000), (255, 255, 255))
        dr = ImageDraw.Draw(im)
        font = ImageFont.truetype(fontpath+'.woff', 40)
        count = 15
        arrayList = numpy.array_split(codeList,count)   #将列表切分成15份，以便于在图片上分行显示

        for t in range(count):
            newList = [i.replace("uni", "\\u") for i in arrayList[t]]
            text = "".join(newList)
            text = text.encode('utf-8').decode('unicode_escape')
            dr.text((0, 50 * t), text, font=font, fill="#000000")
        im.save(fontpath+".jpg")
     
        dc={}#输出字典
        result=self.__get_fonts_ocr(fontpath)
        words_list=result['words_result']
        for array,word in zip(arrayList,words_list):
            for arra,wor in zip(array,word["words"]):
                # arra=str(arra)
                arra=arra.replace("uni", r"\u")
                dc[arra]=wor
        return dc

字典的生成借用了
https://blog.csdn.net/weixin_44606217/article/details/103766197
文章的代码,利用百度识图的api进行文字识别,因此要输入自己的id和key

利用xpath提取信息,并利用字典进行解密.

class_name_list=["shopdesc","address","hours","review","shopdesc","num"]

def get_true_words(lists,dc):
      add=""
      for n in lists:
        class_num=0
        class_name=n.xpath('.//@class')
        c=0
        #去除不属于class_name_list 就可以实现跟加密文字的一一对应确定用哪个字典解密
        while c<len( class_name):
            if  class_name[c] not in class_name_list:
                class_name.remove( class_name[c])
            else:
                c+=1    
        words=n.xpath('.//text()')
        for word in words:
            w =re.findall(u"[\ue000-\uf999]",word)#正则匹配到的说明是加密字 
            if w!=None and len(w)!=0:
                wo=word.encode('unicode_escape')
                wo=str(wo)[3:-1]
                if wo==None or wo=='' :
                    continue
                try:
                    c=class_name[class_num]
                    wo=dc[class_name[class_num]][wo]
                    add+=wo
                except BaseException:
                    print(BaseException)
                finally:
                    class_num+=1
            else:
                add+=word
      print(u'\xa0' in add)         
      add=add.replace(u'\xa0',u' ')
      return add

def get_datas_by_xpath(tree,dc):
    data={}
    #商家信息
    shop_name=tree.xpath('//h1[@class="shop-name"]')
    add=get_true_words(shop_name,dc)
    data["shop_name"]=add

    shop_address=tree.xpath('//div[@id="J_map-show"]/span[@class="item"]')
    add=get_true_words(shop_address,dc)
    data["shop_address"]=add

    shop_iphone=tree.xpath('//p[@class="expand-info tel"]')
    add=get_true_words(shop_iphone,dc)
    data["shop_iphone"]=add

    #用户信息
    li_list=tree.xpath('//ul[@class="comment-list J-list"]/li')
    i=0
    for li in li_list:
        data_user={}
        user_name=li.xpath('.//p[@class="user-info"]/a/text()')
        user_time=li.xpath('.//span[@class="time"]/text()')
        user_contont=li.xpath('.//p[@class="desc"]')
        add=get_true_words( user_contont,dc)
        data_user["user_name"]=user_name[0]
        data_user["user_time"]=user_time[0]
        data_user["user_contont"]=add
        data["user%s"%i]=data_user
        i+=1
    return data

输出: