m0_68013442的博客

为了提升用户在景区的体验，我们设计了一个系统，能够自动记录用户在游览景点时的各种数据，包括拍摄的照片、提出的问题及其答案等，最终生成一份个性化的旅游日志。本文将详细介绍实现该功能的技术方案和代码实现。

游玩攻略界面前后端实现。

在本文中，我将展示如何使用 Flask 构建一个简单的用户登录和注册系统，并通过前端网页实现用户交互。我们将创建两个主要功能：用户注册和用户登录。注册时会检查用户 ID 是否已经存在，如果存在则注册失败，否则插入新用户。登录时会验证用户 ID 和密码，如果匹配则登录成功，否则登录失败。

在这篇博客中，我将分享如何创建一个能够展示景区详情的网页。这个网页通过输入经纬度从服务器获取对应景区的音频和详情，包括图片和文字描述。·serve_audio_file和serve_image_file用于返回音频文件和图片文件。·find_description函数用于根据景区名称查找对应的描述和图片。·/getSpotDetails接口根据景区名称返回景区详情。获取数据：前端通过接口请求服务器，获取音频和景区详情。展示数据：将获取到的音频、图片、文字描述展示在网页上。输入经纬度：用户输入景区的经纬度。

景点介绍音频文件的后端。

在上篇配置了SSL证书与Nginx反向代理后，发现站点访问出现了连接不安全的问题，我们对问题进行了排除和定位，并尝试了多种解决方法，最终实现了微信小程序与服务器的https协议的通信。

安装完成后，会在 /usr/local/prod/ 目录下生成一个 nginx 的目录，这是我们指定的位置。安装后生成的 nginx 里面有四个目录 （conf html logs sbin），配置文件在 conf/nginx.conf， 启动文件在 sbin/nginx，先别着急启动，我们先完成http的配置。将下载的文件 nginx-1.25.1.tar.gz 通过Xftp工具或者通过其他工具上传至Linux 服务器 /root 目录。

可以看到，通过更改模型参数，微调后的模型回答的模式更接近数据集的labels，但是它仍缺乏景点识别的准确性，无法正确识别图像中的文字。尽管模型在训练的各个阶段都尽力确保数据的合规性和准确性，但由于 VisualGLM-6B 模型规模较小，且模型受概率随机性因素影响，无法保证输出内容的准确性，且模型易被误导。微调层默认层范围可能是0和14，可以将其扩展为更多的层，以提高微调的灵活性和细致程度。较小的学习率可以减少训练过程中的波动，有助于模型更好地收敛，但可能需要更多的训练迭代。

在上周，我们使用了官方提供的数据集来微调VisualGLM 6B模型，使其能够增强对图片“背景”的回答能力，在这周，我们尝试使用自己爬虫得到的数据集，经过处理后形成json文件，用来初步微调该模型，使其关注图片中的景点。

，label标签为图片的具体背景描述。模型微调的主要作用是通过在特定任务或特定领域的数据上进一步训练预训练模型，使其能够更好地适应特定任务的需求。这种方法利用了预训练模型在大规模数据上学习到的广泛知识，并将其与特定任务的数据相结合，从而提高模型在该任务上的表现。：相比从头开始训练一个新模型，微调现有的预训练模型需要的时间和计算资源大大减少。：在某些任务中，数据可能存在不均衡的情况，预训练模型可能无法很好地处理这些问题。可以看到，微调后的模型对“背景”回答的能力有一定提升，后续可以进行继续调优。

VisualGLM-6B 是一个开源的，支持图像、中文和英文的多模态对话语言模型，语言模型基于 ChatGLM-6B，具有 62 亿参数；图像部分通过训练 BLIP2-Qformer 构建起视觉模型与语言模型的桥梁，整体模型共78亿参数。VisualGLM-6B 依靠来自于 CogView 数据集的30M高质量中文图文对，与300M经过筛选的英文图文对进行预训练，中英文权重相同。该训练方式较好地将视觉信息对齐到ChatGLM的语义空间；

因为要将景点介绍作为图片问答的answer，所以在每条景点介绍中加入“该图片指示的景点是趵突泉/漱玉泉...”，提高答案的质量，使用prompt来构建辅助问题，如“介绍一下这张图片中的景点?”、“这张图片中的景点是什么？进入电脑微信中驴迹导游或大众点评小程序所需数据界面，启动Fiddler进行抓包，找到所需的包并解析文字，得到如下图所示的结果，将其保存成文件再进行数据处理。针对趵突泉官网，使用后羿采集器该爬虫工具进行爬取，得到每个景点的图片和介绍，其中爬取到的景点介绍作为answer。

关于大模型如何接入手机端的调研