爬取大众点评网的某城市美食店铺数据

最新推荐文章于 2024-04-27 10:59:40 发布

鹰击长空1281

最新推荐文章于 2024-04-27 10:59:40 发布

阅读量2.2k

点赞数 5

分类专栏：笔记

本文链接：https://blog.csdn.net/weixin_45540797/article/details/109579981

版权

笔记专栏收录该内容

1 篇文章 0 订阅

订阅专栏

文章目录

前言
一、确定爬取的url
二、开始抓取
三、将数据保存到数据库
四、总结

前言

某旅游城市在今年的十一期间再次火爆了一把，城市的各种美食确实让人垂涎欲滴。因此，个人萌生了爬取该城市美食店铺信息的想法。

一、确定爬取的url

1.首先用浏览器打开大众点评网站www.dianping.com,然后点击城市链接，再点击美食链接进入城市美食页面。
地址为：http://www.dianping.com/changsha/ch10/p0
2.改变页码，发现只有最后的px会发生变化。因此，只需要简单构建循环即可构造url地址。

二、开始抓取

1.直接抓取

查看网页源代码，发现可以搜索到网页中存在的信息，因此基本可以确定是静态网页。
在这里插入图片描述

仅仅添加useragent直接进行抓取后，发现出现了302状态码进行了跳转。这种情况下，应该是需要增加请求头信息。

2.构造请求头

1.查看网页请求头如下图!

几次刷新页面后发现，改变的数据仅仅是cookie，其它请求头信息均为固定信息。每次cookie均发生了改变，但是并没有进行两次加载，说明cookie信息应该是本地生成的。cookie信息中有两项信息会发生改变，
在这里插入图片描述
其中，_lxsdk_s每次的改变很有规律，为最后两位数加20或者21（具体是20还是21自己可以刷新几次看一下）。但是另一项就比较复杂，看起来像是时间戳，但是尝试后发现并不是。既然是本地生成的，那么查看js应该可以看到生成方式，个人尝试了一下，无奈js能力有限。
但是，既然是本地生成的，那么我们可以进行分析，在浏览器和页面内容均没有发生改变的情况下，改变的只有加载时间，我们可以大胆猜测这个数据还是和时间有关系。而且response headers中还有一项Set-Cookie，里面的数据仅有时间在发生改变，基本可以确认Hm_lpvt的改变是由时间引起的。

17-Nov-2022 07:22:07 GMT     1605596557
17-Nov-2022 07:31:29 GMT     1605597742
17-Nov-2022 07:31:59 GMT     1605598305

如图，查看几次请求信息，最后观察到每一次的Hm_lpvt的改变量为前次请求的时间间隔，其实也就是每次请求的Hm_lpvt信息，实际上是与上一次请求时间以及第一次请求时间相关的。
那么我们可以就此构造cookie。考虑到万一某次请求出现问题方便再次构造cookie，因此本人将构造cookie需要的三项数据写入txt文件，每次进行读取和写入操作。

`def get_cookie():
    new = """fspop=test; _lxsdk_cuid=175a63b9732c8-045b6a35f56618-230346d-1fa400-175a63b9733c8; _lxsdk=175a6
    3b9732c8-045b6a35f56618-230346d-1fa400-175a63b9733c8; _hc.v=500ca2b8-99ea-2512-79b9-579fd5ee6aab.1604811726; s_View
    Type=10; _lx_utm=utm_source%3DBaidu%26utm_medium%3Dorganic; cy=344; cye=changsha; _dp.ac.v=136a299d-309b-401a-93d4-
    15565e9b3ec9; ua=dpuser_8849637005; ctu=6785bc81e314ca567cbe3eeabeca236ead9ce92b79a054a5ce52c4d63f36ce8d; Hm_lvt_60
    2b80cf8079ae6591966cc70a3940e7=1604811726,1604835093,1604897708; _lxsdk_s=175ab5b8dc6-68-5d-822%7C%7C{}; Hm_lpvt_60
    2b80cf8079ae6591966cc70a3940e7={}
    """
    with open("cookie.txt", 'r') as f:
        for line in f.readlines():
            time_cookie = json.loads(line)
   #将时间转换成字符串
    timearray1 = time.strptime(time_cookie[1]['time'], "%Y-%m-%d %H:%M:%S")
    timearray0 = time.strptime(time_cookie[0]['time'], "%Y-%m-%d %H:%M:%S")
   #求前两次的时间差
    timedelta = int(time.mktime(timearray1)) - int(time.mktime(timearray0))
   #构造新的cookie需要的数据
    new_cookie = time_cookie[1]['cookie'] + timedelta
    timearray = time.localtime(int(time.time()))
    new_time = time.strftime("%Y-%m-%d %H:%M:%S", timearray)
    new_num = time_cookie[1]['num'] + 20
   #将新的cookie存入文件，并删除第一项cookie
    time_cookie.append({'time':new_time, 'cookie':new_cookie,'num' : new_num})
    time_cookie.pop(0)
    cookie_json = json.dumps(time_cookie)
    with open("cookie.txt", 'w', ) as f:
        f.write(cookie_json)
    return new.format(str(new_num), str(new_cookie))
cookie =get_cookie()

构造cookie后再次进行请求，果然，请求成功。

3.抓取信息

为了方便分析页面内容，因此将网页保存在了本地。在此仅进行了店铺名称，店铺得分，店铺评论数和人均消费信息的抓取。使用了pyquery和re模块进行网页解析。
代码如下：

with open('dianping.html', 'r', encoding='utf-8') as f:
    b = ''
    for line in f.readlines():
        b += line
doc = pq(b)
shop_items = doc('#shop-all-list')
shoplist =shop_items('li').items()
shops = []

for shop in shoplist:
    shop_dict = {}
    shop_name = re.search("<h4>(.*?)</h4>", str(shop), re.S).group(1)
    shop_star = re.search(r'<div class="star_score.*?">(.*?)</div>', str(shop), re.S).group(1)
    comments = re.search(r'"shop_iwant_review_click.*?<b>(.*?)</b>', str(shop), re.S).group(1)
    consume = re.search(r'class="mean-price".*?<b>(.*?)</b>', str(shop), re.S).group(1)
    shop_dict['shop_name'] = shop_name
    shop_dict['star'] = shop_star
    shop_dict['comments'] = comments
    shop_dict['consume'] = consume
    shops.append(shop_dict)
pprint.pprint(shops)

抓取的结果如图所示：
发现评论数和人均消费的数字，除了‘1’以外均无法正常显示。我们再次查看网页元素。
某一个店铺评论数的数字

4.信息解密

如上图所示，网页部分内容进行了加密，无法正常爬取。可以看到右上角位置有css的指示，打开此链接，如下图

其中有很多个字体文件，但是每个字体文件连接后面均说明了文件内容，我们需要的就是shopNum（店铺数字）字体文件内容。
点击此链接进行下载，并使用fontTools进行转换后查看。

from fontTools.ttLib import TTFont
font = TTFont(r'C:\Users\zhaohengcai\Downloads\fb3304fa.woff')
font.saveXML('local_font.xml')

查看内容如图
字体文件转换后的xml
对照店铺源代码与网页显示内容，最后可以发现与上图的蓝色框内的数据对应。但是3-11对应的网页显示内容为3-9和0，我们需要自己进行转换。

passage = """ 
    <GlyphID id="3" name="unie486"/>
    <GlyphID id="4" name="unieb23"/>
    <GlyphID id="5" name="unif298"/>
    <GlyphID id="6" name="unif240"/>
    <GlyphID id="7" name="unif001"/>
    <GlyphID id="8" name="unie997"/>
    <GlyphID id="9" name="unif59a"/>
    <GlyphID id="10" name="uniee87"/>
    <GlyphID id="11" name="unif876"/>
    """

keylist = re.findall('<GlyphID id="(.*?)" name="uni(.*?)"/>', passage)
num_dict = {}
for item in keylist:
    if int(item[0]) != 11:
        num_dict[r'\u' + item[1]] = int(item[0]) - 1
    else:
        num_dict[r'\u' + item[1]] = 0
print(num_dict)

返回去将解析网页内容的代码进行适当修改，使用re进行替换，

num_key = {'\ue486': '2', '\ueb23': '3', '\uf298': '4', '\uf240': '5', '\uf001': '6', '\ue997': '7', '\uf59a': '8', '\uee87': '9', '\uf876': '0'}
with open('dianping.html', 'r', encoding='utf-8') as f:
    b = ''
    for line in f.readlines():
        b += line
doc = pq(b)
shop_items = doc('#shop-all-list')
shoplist =shop_items('li').items()
shops = []

for shop in shoplist:
    shop_dict = {}
    shop_name = re.search("<h4>(.*?)</h4>", str(shop), re.S).group(1)
    shop_star = re.search(r'<div class="star_score.*?">(.*?)</div>', str(shop), re.S).group(1)
    comments = re.search(r'"shop_iwant_review_click.*?<b>(.*?)</b>', str(shop), re.S).group(1)
    #将<svgmtsi class="shopNum">(.*?)</svgmtsi>的内容进行替换
    comments_key = re.findall('<svgmtsi class="shopNum">(.*?)</svgmtsi>', str(comments), re.S)
    for item in comments_key:
        pattern  = re.compile('<svgmtsi class="shopNum">{}</svgmtsi>'.format(item))
        comments = re.sub(pattern, num_key[item], comments)
    consume = re.search(r'class="mean-price".*?<b>(.*?)</b>', str(shop), re.S).group(1)
     #将<svgmtsi class="shopNum">(.*?)</svgmtsi>的内容进行替换
    consume_key = re.findall('<svgmtsi class="shopNum">(.*?)</svgmtsi>', str(consume), re.S)
    for item in consume_key:
        pattern = re.compile('<svgmtsi class="shopNum">{}</svgmtsi>'.format(item))
        consume= re.sub(pattern, num_key[item], consume)
    shop_dict['shop_name'] = shop_name
    shop_dict['star'] = shop_star
    shop_dict['comments'] = comments
    shop_dict['consume'] = consume
    shops.append(shop_dict)
pprint.pprint(shops)

运行结果如下：
在这里插入图片描述

三、将数据保存到数据库

这样我们的工作基本上就完成了，然后我们可以将数据存入数据库：

myclient = pymongo.MongoClient('localhost', 27017)
dianping_db = myclient['dianping']
dianping_col = dianping_db['dianping_food']

dianping_col.insert_one(shop_dict)

之后，我们将代码进行整合。

import json
import pprint
import random
import re
import time
import pymongo
import requests
from pyquery import PyQuery as pq

user_agents = [
    'Mozilla/5.0(Macintosh;Intel Mac OS X 10_11_4) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/52.0.2743.116 Safari/537.36',
    'Mozilla/5.0(Windows;U;MSIE 9.0;Windows NT 9.0;en-US)',
    'Mozilla/5.0(Windows NT 6.1) AppleWebKit/537.2 (KHTML, like Gecko) Chrome/22.0.1216.0Safari/537.2',
    'Mozilla/5.0(X11; Ubuntu;Linux i686;rv:15.0) Gecko/20100101 Firefox/15.0.1']

headers = {
    'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,image/avif,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3;q=0.9',
    'User-Agent': random.choice(user_agents),
    'Connection': 'keep - alive',
    'Host': 'www.dianping.com',
    'Upgrade-Insecure-Requests': '1',
}
myclient = pymongo.MongoClient('localhost', 27017)
dianping_db = myclient['dianping']
dianping_col = dianping_db['dianping_food']

time_cookie = []
time_cookie.append({"time": "2020-11-17 08:07:36", "cookie": 1605571660, "num": 40})
time_cookie.append({"time": "2020-11-17 08:09:37", "cookie": 1605571671, "num": 60})
timestamp = int(time.time())
timearray = time.localtime(timestamp)


def get_cookie():
    new = """_lxsdk_cuid=175a63b9732c8-045b6a35f56618-230346d-1fa400-175a63b9733c8; _lxsdk=175a63b9732c8-045b6a35f56618
    -230346d-1fa400-175a63b9733c8; _hc.v=500ca2b8-99ea-2512-79b9-579fd5ee6aab.1604811726; s_ViewType=10; cy=344; cye=ch
    angsha; _dp.ac.v=136a299d-309b-401a-93d4-15565e9b3ec9; ua=dpuser_8849637005; ctu=6785bc81e314ca567cbe3eeabeca236ead
    9ce92b79a054a5ce52c4d63f36ce8d; fspop=test; Hm_lvt_602b80cf8079ae6591966cc70a3940e7=1604986265,1605266096,16055297
    94,1605571653; _lxsdk_s=175d38722cb-a29-e6e-f2b%7C%7C{}; Hm_lpvt_602b80cf8079ae6591966cc70a3940e7={}
    """
    with open("cookie.txt", 'r') as f:
        for line in f.readlines():
            time_cookie = json.loads(line)
    timearray1 = time.strptime(time_cookie[1]['time'], "%Y-%m-%d %H:%M:%S")
    timearray0 = time.strptime(time_cookie[0]['time'], "%Y-%m-%d %H:%M:%S")
    timedelta = int(time.mktime(timearray1)) - int(time.mktime(timearray0))
    new_cookie = time_cookie[1]['cookie'] + timedelta
    timearray = time.localtime(int(time.time()))
    new_time = time.strftime("%Y-%m-%d %H:%M:%S", timearray)
    new_num = time_cookie[1]['num'] + 20
    time_cookie.append({'time': new_time, 'cookie': new_cookie, 'num': new_num})
    time_cookie.pop(0)
    cookie_json = json.dumps(time_cookie)
    with open("cookie.txt", 'w', ) as f:
        f.write(cookie_json)
    return new.format(str(new_num), str(new_cookie))

def get_page(url):
    a = get_cookie()
    new_cookie = {'Cookie': a}
    response = requests.get(url=url, headers=headers, cookies=new_cookie)
    with open('dianping.html', 'w', encoding='utf-8') as f:
        f.write(response.text)
    return response

def parse(response):
    doc = pq(response.text)
    shop_items = doc('#shop-all-list')
    shoplist =shop_items('li').items()
    shops = []
    num_key = {'\ue486': '2', '\ueb23': '3', '\uf298': '4', '\uf240': '5', '\uf001': '6', '\ue997': '7', '\uf59a': '8', '\uee87': '9', '\uf876': '0'}
    for shop in shoplist:
        shop_dict = {}
        shop_name = re.search("<h4>(.*?)</h4>", str(shop), re.S).group(1)
        shop_star = re.search(r'<div class="star_score.*?">(.*?)</div>', str(shop), re.S).group(1)
        comments = re.search(r'"shop_iwant_review_click.*?<b>(.*?)</b>', str(shop), re.S).group(1)
        comments_key = re.findall('<svgmtsi class="shopNum">(.*?)</svgmtsi>', str(comments), re.S)
        for item in comments_key:
            pattern = re.compile('<svgmtsi class="shopNum">{}</svgmtsi>'.format(item))
            comments = re.sub(pattern, num_key[item], comments)
        consume = re.search(r'class="mean-price".*?<b>(.*?)</b>', str(shop), re.S).group(1)
        consume_key = re.findall('<svgmtsi class="shopNum">(.*?)</svgmtsi>', str(consume), re.S)
        for item in consume_key:
            pattern = re.compile('<svgmtsi class="shopNum">{}</svgmtsi>'.format(item))
            consume = re.sub(pattern, num_key[item], consume)
        shop_dict['shop_name'] = shop_name
        shop_dict['star'] = shop_star
        shop_dict['comments'] = comments
        shop_dict['consume'] = consume
        dianping_col.insert_one(shop_dict)
        shops.append(shop_dict)
    pprint.pprint(shops)

def main():
    for page_num in range(10):
        print('-------------正在爬取第{}页数据--------------'.format(page_num))
        url = 'http://www.dianping.com/changsha/ch10/p{}'.format(page_num)
        response = get_page(url)
        parse(response)
        time.sleep(3)

if __name__ == '__main__':
    main()

四、总结

一、本次爬取的难点主要有两个方面：
1.cookie的构造；
2.店铺信息的解密。
cookie的构造，对擅长js解密的人应该比较简单，不擅长js的话，只能像我一样进行分析。
店铺信息的解密，有很多人都写了，在此不再赘述。
二、关于后续爬取的思考
其实应该讲爬取的内容存入mysql数据库，方便后续爬取评论内容的时候进行关联。使用mongoDB不方便数据的关联。