【电商系列？】日本某美食攻略网站数据获取及Json文件保存

CorGi_8456

已于 2022-05-17 14:45:08 修改

阅读量306

点赞数

分类专栏： Python爬取分享电商攻略文章标签： python 学习

于 2022-05-16 17:49:20 首次发布

本文链接：https://blog.csdn.net/corgi_8456/article/details/124799804

版权

本文介绍了如何分析和爬取一个日本美食攻略网站的数据，通过Python进行地区、商家信息的抓取，并将获取的数据存储为Json文件。文章详细讲述了每个步骤，并在文末探讨了在疫情下如何高效且安全地获取网络数据。

摘要由CSDN通过智能技术生成

17日更新：版权方面做马赛克处理，请审核高抬贵手。

今天上班摸鱼的时候发现了一个比较新鲜的网站，是一个日本美食攻略的网站：

左边呢是各个店家的基本信息，右边也集成了地图。
反正疫情也出不去，这个网站的地图卫星图像也能云旅游，而左边的这些店铺的数据呢，就可以拿下来给未来做做旅游攻略了。

一、网站分析

进入首页，可以看到各个地区的分类，而下面是按食品的分类，人数等等。

这次就按地区来获取数据。随便进入一个地区，点开地区排行榜，就进入列表页了，点击列表就进入详情了，简单的列表-列表-详情的三段式结构。

二、数据获取

首先进入主页，获取所有地区：

def getList():
    Url = "https://tabelog.com/cn/"
    headers = {
        "authority": "tabelog.com",
        "accept": "text/html,application/xhtml+xml,application/xml;q=0.9,image/avif,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3;q=0.9",
        "user-agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/101.0.4951.67 Safari/537.36",
    }
    res = requests.get(Url,headers=headers)
    content = res.content.decode('utf-8')
    sel = Selector(text=content)
    nodes = sel.css(".index-area section dl dd ul li")
    for node in nodes:
        area = node.css("a::text").extract_first()
        areaUrl = node.css("a::attr(href)").extract_first()+"rstLst/?SrtT=