TripGenie：畅游济南旅行规划助手：团队工作纪实（一）-CSDN博客

本文链接：https://blog.csdn.net/m0_74808467/article/details/146439797

TripGenie：畅游济南旅行规划助手：团队工作纪实（一）

在数字化转型的浪潮中，旅游业也迎来了新的发展机遇。我们团队致力于开发一款济南景点一体化旅游助手，旨在为用户提供全面、个性化的旅游信息和服务。面对数据不全面和更新不及时的挑战，我们决定采用爬虫技术，从各大网站爬取济南的景点、住宿、美食等信息。

在项目启动阶段，我们组织了多次团队会议，明确了项目的目标和主题。我们希望建立一个平台，不仅提供济南的景点信息，还包括住宿、美食等旅游相关资源。这个平台将成为游客了解济南、规划行程的重要助手。确定了项目主题后，我们开始撰写项目书、申请书、答辩PPT，详细规划了项目的各个方面，包括目标用户、功能需求、技术路线、开发计划和预算等。项目书是指导我们整个开发过程的蓝图。

面对数据获取的难题，我们决定学习并应用爬虫技术。团队成员开始学习爬虫的基础知识，包括HTTP协议、HTML结构、JavaScript动态内容等。我们了解了网站的反爬虫机制，并学习了如何模拟浏览器行为，以绕过这些限制。

在工具选择方面，我们我们选择了Python作为主要开发语言，并引入了一系列爬虫工具：

Requests：用于发送HTTP请求，获取网页内容。

BeautifulSoup 与lxml：用于解析HTML文档，提取所需数据。

- Selenium：用于模拟浏览器行为，处理JavaScript动态生成的内容。

- Pandas：用于数据处理和存储，方便将爬取的数据保存为CSV文件。

我们团队成员分工，分别爬取了大众点评等多个网页，以大众点评为例，我们实施了以下爬虫步骤：

1. 获取URL：找到大众点评上目标数据所在的页面URL。

2. 模拟登录获取Cookie：模拟用户登录，获取Cookie以绕过反爬虫限制。

3. 爬取数据：使用获取的Cookie，爬取目标网页上的数据。

在数据处理阶段，面对不同网站对同一景点可能存在的命名格式差异、文件中不需要的信息，页码与序号与景点名称的统一问题，标题不清晰的CSV文件等问题，进行了讨论与修改。在数据库整合，团队选择使用MySQL进行数据整合。首先，我们将数据导入数据库中，然后计划将坐标与景点、酒店、美食等信息进行合并。我们选择使用`LEFT JOIN`操作来确保即使某些景点在`point`表中没有对应的记录，仍然会显示在结果集中。

```sql

SELECT

h.name AS TouristName,

h.address AS Address,

h.comment AS Comments,

h.picture AS Picture,

h.rating AS Rating,

p.point AS Point

FROM

tourist h

LEFT JOIN

points p ON h.id = p.tourist_id;