结课作业：用langchain+deepseek微调一个文旅大模型（1）数据获取-爬虫

引言

马蜂窝作为中国知名的旅游平台，拥有丰富的旅游攻略和用户评论数据，这些数据对于旅游规划、决策支持和市场研究具有重要价值。本报告旨在探讨如何系统性地爬取马蜂窝的攻略和评论数据，为相关研究和应用提供参考。

马蜂窝平台概述

马蜂窝旅游网是中国年轻一代用得更多的旅游网站，由上亿旅行者共同打造，被称为"旅行神器"。根据网站数据显示，马蜂窝拥有60,000多个全球旅游目的地，600,000个细分目的地新玩法，760,000,000次攻略下载，以及38,000家旅游产品供应商[30]。
马蜂窝兼具社区属性和电商属性，其中UGC（用户创造内容）社区属性为核心。马蜂窝主要为用户提供优质的内容，如旅行攻略、游记等，同时在旅游服务方面几乎涵盖所有相关服务[10]。

平台架构

马蜂窝的数据仓库遵循标准的三层架构，对数据分层的定位主要采取维度模型设计，不会对数据进行抽象打散处理，更多注重业务过程数据整合[