爬取大众点评网的某城市美食店铺数据

最新推荐文章于 2025-01-31 14:55:31 发布

鹰击长空1281

最新推荐文章于 2025-01-31 14:55:31 发布

阅读量3k

点赞数 5

分类专栏：笔记

本文链接：https://blog.csdn.net/weixin_45540797/article/details/109579981

版权

文章目录

前言
一、确定爬取的url
二、开始抓取
三、将数据保存到数据库
四、总结

前言

某旅游城市在今年的十一期间再次火爆了一把，城市的各种美食确实让人垂涎欲滴。因此，个人萌生了爬取该城市美食店铺信息的想法。

一、确定爬取的url

1.首先用浏览器打开大众点评网站www.dianping.com,然后点击城市链接，再点击美食链接进入城市美食页面。
地址为：http://www.dianping.com/changsha/ch10/p0
2.改变页码，发现只有最后的px会发生变化。因此，只需要简单构建循环即可构造url地址。

二、开始抓取

1.直接抓取

查看网页源代码，发现可以搜索到网页中存在的信息，因此基本可以确定是静态网页。
在这里插入图片描述

仅仅添加useragent直接进行抓取后，发现出现了302状态码进行了跳转。这种情况下，应该是需要增加请求头信息。

2.构造请求头

1.查看网页请求头如下图!

几次刷新页面后发现，改变的数据仅仅是cookie，其它请求头信息均为固定信息。每次cookie均发生了改变，但是并没有进行两次加载，说明cookie信息应该是本地生成的。cookie信息中有两项信息会发生改变，
在这里插入图片描述
其中，_lxsdk_s每次的改变很有规律，为最后两位数加20或者21（具体是20还是21自己可以刷新几次看一下）。但是另一项就比较复杂，看起来像是时间戳，但是尝试后发现并不是。既然是本地生成的，那么查看js应该可以看到生成方式，个人尝试了一下，无奈js能力有限。
但是，既然是本地生成的，那么我们可以进行分析，在浏览器和页面内容均没有发生改变的情况下，改变的只有加载时间，我们可以大胆猜测这个数据还是和时间有关系。而且response headers中还有一项Set-Cookie，里面的数据仅有时间在发生改变，基本可以确认Hm_lpvt的改变是由时间引起的。

17-Nov-2022 07:22:07 GMT     1605596557
17-Nov-2022 07:31:29 GMT     1605597742
17-Nov-2022 07:31:59 GMT     1605598305

如图，查看几次请求信息，最后观察到每一次的Hm_lpvt的改变量为前次请求的时间间隔，其实也就是每次请求的Hm_lpvt信息，实际上是与上一次请求时间以及第一次请求时间相关的。
那么我们可以就此构造cookie。考虑到万一某次请求出现问题方便再次构造cookie，因此本人将构造cookie需要的三项数据写入txt文件，每次进行读取和写入操作。

`def get_cookie():
    new = """fspop=test; _lxsdk_cuid=175a63b9732c8-045b6a35f56618-230346d-1fa400-175a63b9733c8; _lxsdk=175a6
    3b9732c8-045b6a35f56618-230346d-1fa400-175a63b9733c8; _hc.v=500ca2b8-99ea-2512-79b9-579fd5ee6aab.1604811726; s_View
    Type=10; _lx_utm=utm_source%3DBaidu%26utm_medium%3Dorganic; cy=344; cye=changsha; _dp.ac.v=136a299d-309b-401a-93d4-
    15565e9b3ec9; ua=dpuser_8849637005; ctu=6785bc81e314ca567cbe3eeabeca236ead9ce92b79a054a5ce52c4d63f36ce8d; Hm_lvt_60
    2b80cf8079ae6591966cc70a3940e7=1604811726,1604835093,1604897708; _lxsdk_s=175ab5b8dc6-68-5d-822%7C%7C{}; Hm_lpvt_60
    2b80cf8079ae6591966cc70a3940e7={}
    """
    with open("cookie.txt", 'r') as f:
        for line in f.readlines():
            time_cookie = json.loads(line)
   #将时间转换成字符串
    timearray1 = time.strptime(time_cookie[1]['time'], "%Y-%m-%d %H:%M:%S")
    timearray0 = time.strptime(time_cookie[0]['time'], "%Y-%m-%d %H:%M:%S")
   #求前两次的时间差
    timedelta = int(time.mktime(timearray1)) - int(time.mktime(timearray0))
   #构造新的cookie需要的数据
    new_cookie = time_cookie[1]['cookie'] + timedelta
    timearray = time.localtime(int(time.time()))
    new_time = time.strftime("%Y-%m-%d %H:%M:%S", timearray)
    new_num = time_cookie[1]['num'] + 20
   #将新的cookie存入文件，并删除第一项cookie
    time_cookie.append({
   'time':new_time, 'cookie':new_cookie,'num' : new_num})
    time_cookie.pop(0)
    cookie_json = json.dumps(time_cookie)
    with open("cookie.txt", 'w', ) as f:
        f.write(cookie_json)
    return new.format(str(new_num), str(new_cookie))
cookie =get_cookie()

构造cookie后再次进行请求，果然，请求成功。

3.抓取信息

为了方便分析页面内容，因此将网页保存在了本地。在此仅进行了店铺名称，店铺得分，店铺评论数和人均消费信息的抓取。使用了pyquery和re模块进行网页解析。
代码如下：

with open('dianping.html', 'r', encoding='utf-8') as f:
    b = ''
    for line in f.readlines():
        b += line
doc = pq(b)
shop_items = doc('#shop-all-list'<

最低0.47元/天解锁文章