杏坛名师rbt-CSDN博客

原创 2021级山软项目实训(十一)——系统测试

所有功能都实现并且整合到一起之后，我们需要对我们现在的模块功能、系统流程做测试并且修改我们能发现的所有bug。

2024-06-23 23:49:23 311

原创 2021级山软项目实训(十)——项目整合

我们所有的前端和后端都已经编写完成，而且在编写不同前端和后端代码的同学的开发环境中成功运行，现在我们需要做的是将所有的前端代码合并到一起，并且实现完整的页面的跳转逻辑，并且把所有的参数合理且成功地传递到各个页面，让页面之间的所有功能能够按照我们的预期进行。

2024-06-23 23:36:19 348

我们的小程序在之前的开发一直没有加入用户，因此没法记录一些用户的行为，也没法保证我们的小程序的安全性。因此我们商讨过后，一致认为需要添加一个用户身份来使用小程序，这样我们可以记录其问答和游览的记录，以便其检索其历史记录。我们计划使用手机号进行注册，但是我们实际上没有办法真正做到给用户发送验证码，因此我们暂时虚构一下，假装我们是使用的手机号注册。如果都符合，则会检查我们的服务器中是否已经存储过这个手机号，避免重复注册，如果注册过我们会弹窗显示手机号已经被注册。因此我们的注册页面首先需要的是输入手机号。

2024-06-23 16:40:19 233

原创 2021级山软项目实训(八)——问答系统前后端交互

现在需要做的事我把前端写好和她编写的后端代码进行交互，把用户在小程序内输入文字信息和上传的图像传递到服务器，然后喂给大模型，得到大模型的返回结果后再将结果返回前端显示给用户。此外，我们发现，真机调试的时候，由于键盘的升起，会挡住我们下方的输入条，因此我们读取键盘的长度，然后将输入框的position设置成fixed，然后计算计算其应该在的位置。上一篇博客写到了我们的图像上传之后暂存在前端，然后我们需要把前端输入的文字信息也暂存前端，通过发送按钮一键发送。二是将图像信息和文字信息传递到后端，喂给大模型。

2024-06-23 16:20:38 639

原创 2021级山软项目实训(七)——图像数据上传

微信提供了打开相机和相册的接口，即wx.chooseImage()，里面的sizeType是选择图片的形式，即压缩和原图。里面的sourceType则是选择图片的来源，其中Album是打开相册进行选择，Camera是打开相机进行拍摄。图片传上去之后，在对话框中显示会非常突兀，由于图片的比例失调问题，会造成图片变形，看上去非常难受，因此我们选择固定长度，让其高度自适应调整，代码如下；其中type是用以判断是否含有图片，判断是大模型发来的信息和用户发送的信息由其他标识符进行判断，在这个的外层。

2024-06-23 15:51:07 166

原创 2021级山软项目实训(六)——语音识别接口实现

这一部分非常麻烦，因为需要向微信官方申请权限，官方那边要求特别多，经历了一而再再而三的修改和与微信小程序客服的够同，最终是成功申请下来了录音的权限。我们需要接收临时的音频地址并储存，然后得到音频文件的长度，即bit数，这是组成向百度语音识别接口传递的json文件的必须品。如果成功识别我们会把识别得到的信息添加到data.msg中，由于百度这个语音识别准确性不高，因此我们的返回信息会填到输入框中，供用户进行修改。其中的options是录音的一些参数，我们这里将参数设置为百度语音识别接口中所要求的录音参数。

2024-06-23 15:26:58 418

原创 2021级山软项目实训(五)——语音识别接口调研

注册账号后，可以申领1.5k条免费语音识别的额度，我们需要在该网站注册一个应用，然后可以获得一个ApiKey和一个SecretKey，并且在这个应用中使用语音识别、语音合成和api。需要将音频信息打包成为.json文件传递给百度智能云的服务器，在打包数据中需要有除音频文件外的一些基础信息，如文件的大小、采样的频率等内容。微信小程序自带语音识别的接口，但是需要注册且规矩太多，跟客服交流了两天还是不能申请成功，因此放弃这个接口，选择其他的接口。传递回来的内容中，result字段为语音识别到的内容。

2024-06-22 00:41:47 308

原创 2021级山软项目实训(四)——前端设计(2)

本blog将接续上篇，介绍我是如何编写问答系统数据交互部分代码的。这一部分将编写了图像、文字、语音三个部分的代码，所编写代码的效果如图1，这里都是“老生常谈”的代码，介绍起来没有太多意义，仅作展示。着重介绍我是如何编写交互部分的代码的。图1 交互部分界面展示。

2024-05-29 22:16:25 351

原创 2021级山软项目实训(三)——前端设计(1)

团队给我的分工是编写问答系统前端代码，由于小程序原型设计由我完成，因此对于导航条、等公共内容的编写和代码的整合也由我来进行。问答系统前端的代码我认为可以分为两部分，一是上面的对话模块，二是下方的交互模块。其中对话模块的编写难点在于如何编写代码实现我们上一篇博客中对小程序的设计，二交互模块的难点则是如何将调用微信小程序的接口、如何获取用户提供的数据并与小程序后端进行交互。在这篇blog中我将介绍我对对话模块代码的编写，下一篇blog将介绍我对交互模块代码的编写。

2024-05-29 21:42:14 400

原创 2021级山软项目实训(二)——原型设计

主页的设计必须要抓眼，且能够让用户清晰地了解如何使用我们小程序的各个模块，因此我们的主页面必须有能够跳转到其他功能页面的组件。即要求设计之初要把我们所要实现的功能、我们怎么实现这些功能、我们的交互方式设计完整，做到不漏掉任何一项内容，也不重复对同一项功能做重复的设计。由于我们主打的是智能问答，因此在导航页面也有明显的机器人图标以便我们可以快速跳转到问答系统页面。我们上拉下方播放器，可以选择景点的解说词，并且可以拖动解说词播放的进度等功能。我们的小程序风格要与趵突泉景区的主题相关、要让用户看上去高级且养眼。

2024-05-29 21:07:52 1626

原创 2021级山软项目实训(一)——数据爬取

其余数据将作为大模型的训练数据进行数据处理，我们将景点的图片作为训练中的图像数据，使用prompt构建辅助问题，以对应图像的解说词、景点介绍作为大模型的answer，形成了小有规模的针对趵突泉景区的ChatGLM3-6B的可用数据集。经过调研，网络上可用于训练ChatGLM3-6B的数据集数不胜数，但是针对旅游这一领域的数据集却一集难求，为了对大模型进行微调以便更有效地满足我们的需求，爬取与趵突泉景区有关的数据形成完整且可靠的数据集成了唯一途径。，导游解说词同样可以作为大模型的训练数据来使用。

2024-05-29 20:26:35 710

qq_62600644的博客