山东大学项目实训团队周报（一）

SDU项目实训从容应队

已于 2024-05-31 11:50:53 修改

阅读量1.8k

点赞数 37

分类专栏：山东大学项目实训文章标签：人工智能

于 2024-05-31 11:15:50 首次发布

本文链接：https://blog.csdn.net/2401_83293597/article/details/139346523

版权

山东大学项目实训专栏收录该内容

5 篇文章 0 订阅

订阅专栏

一、项目介绍

1.1 项目背景

随着物质生活的丰富以及人们精神世界的需求，旅游产业正在蓬勃发展，导游行业迎来了着诸多问题和变化。文化和旅游部市场管理司副司长李晓勇在2022年3月30日新闻发布会宣布，全国导游人数约65万人，其中与旅行社签订劳动合同的导游人数超过10万人。其它为旅游景区导游，由于行业门槛低、竞争激烈等原因，景区导游的生存状态并不十分乐观。一方面，由于导游收入水平普遍偏低，许多导游难以维持生计，甚至出现了一些“黑导”和“假导”现象；另一方面，由于市场竞争激烈，一些景区为了降低成本，采取了压缩导游费用、减少导游数量等措施，导致导游的工作压力和收入水平进一步下降。

此外，随着旅游业的发展和变化，景区导游的工作内容也在不断发生变化。例如，一些景区开始采用自助游模式，导游的角色逐渐被淡化。比如北京颐和园景区可在公众号上选择适合自己的讲解风格，在到达每个景点可以点击播放按钮收听讲解；比如苏州拙政园内提供自动讲解器，随着游客游览位置的改变，讲解会自动播放。然而两种方式都不够智能化以及难以满足游客们的个性化需求：前者缺乏与位置信息的交互，而两者缺少与游客的个性化交互，难以为游客们提供更加便捷、丰富和满意的旅行体验。

近年来，跨模态大语言模型的蓬勃发展，也让我们将目光转向了其与旅游产业的融合。跨模态大语言模型通过在大量的文本与图片数据上进行训练，可以执行广泛的任务，包括问答、文本总结、翻译、情感分析等等。本项目我们计划实现一个基于跨模态大语言模型的AI导游移动应用，定位于济南市趵突泉景区，从视、听两个角度入手，为游客提供更个性化的导游服务。

1.2 项目概述

“游行智友” 的开发旨在解决当前旅游服务中存在的人工导游费用高昂、水平参差不齐以及现存的电子导游系统功能单一等问题。我们的目标是利用多模态人工智能大模型，通过模型微调、压缩等技术手段，实现对真实导游的模拟，从而为用户提供近乎零成本但专业水平很高的语音解说服务，并结合图像和文本数据，实现全方位的问答功能。

除此之外，我们计划结合GPS定位、大模型等人工智能技术，实现以下功能：

1.实时定位与导游

2.跨模态智能实时对话

3.路线推荐和导览功能

二、任务概述

本周作为我们项目的 起步阶段 ，团队全员齐心协力，共同推进项目向前发展。在各项工作中，我们明确了分工，确保了每个环节都能得到有效的推进。具体分工内容如下：

1.大模型环境配置

2.数据爬取与处理

3.前端设计调研

三、完成情况

3.1 大模型环境配置

3.1.1 从GitHub上下载代码

https://gitcode.com/THUDM/VisualGLM-6B/overview?utm_source=csdn_blog_hover

3.1.2 创建一个虚拟环境

我们所使用的服务器系统为Ubuntu 18.04.6 LTS (GNU/Linux 4.15.0-76-generic x86_64)，GPU为A100（NVIDIA-SMI 510.54；Driver Version: 510.54；CUDA Version: 11.6）

3.1.3 使用pip安装依赖

pip install -i https://pypi.org/simple -r requirements.txt
# 国内请使用aliyun镜像，TUNA等镜像同步最近出现问题，命令如下
pip install -i https://mirrors.aliyun.com/pypi/simple/ -r requirements.txt

3.1.4 修改各种报错后环境配置成功

3.2 数据爬取与处理

3.2.1 网页数据爬取

针对趵突泉官网，使用后羿采集器该爬虫工具进行爬取，得到每个景点的图片和介绍，其中爬取到的景点介绍作为answer。

爬取后的数据如图示（csv文件，图片存在本地）：

因为要将景点介绍作为图片问答的answer，所以在每条景点介绍中加入“该图片指示的景点是趵突泉/漱玉泉...”，提高答案的质量，使用prompt来构建辅助问题，如“介绍一下这张图片中的景点?”、“这张图片中的景点是什么？”,同时将存在缺失或者重复的数据删去，这样得到了初步的针对趵突泉景区的图片识别问答数据集。

处理后效果如下图（csv文件）：