- 博客(18)
- 收藏
- 关注
原创 山东大学软件学院创新实训VCR系统个人博客(3)
首先,我们针对爬虫运行速度慢的问题进行了优化,通过调整Scrapy的请求并发数和延迟时间等参数来提高爬虫的爬取效率。其次,我们针对数据爬取不准确的问题进行了调试,通过检查BeautifulSoup的解析逻辑和网页结构的变化来修正解析错误。首先,构建爬虫的基本结构,包括定义爬虫的入口点、设置请求队列、编写解析器等。在测试过程中,我们关注了几个关键指标:爬虫的运行速度、数据爬取的准确性以及是否存在异常错误。在调试和优化过程中,我们不断迭代和改进爬虫代码,直到其能够稳定地爬取目标网站的数据。
2024-06-24 07:43:30 294
原创 山东大学软件学院创新实训VCR系统个人博客(4)
本博客为山东大学软件学院2024创新实训,25组可视化课程知识问答系统(VCR)的个人博客,记载个人任务进展。
2024-06-24 07:22:19 571
原创 山东大学软件学院创新实训VCR系统个人博客(5)
本博客为山东大学软件学院2024创新实训,25组可视化课程知识问答系统(VCR)的个人博客,记载个人任务进展数据提取是数据处理流程中的关键步骤,它涉及到从数据库中检索并获取所需的信息,以及为确保数据安全和处理灵活性而进行的数据备份。以下将对从数据库提取数据和数据备份两个环节进行详细分析。
2024-06-24 07:10:03 881
原创 山东大学软件学院创新实训VCR系统个人博客(7)
本博客为山东大学软件学院2024创新实训,25组可视化课程知识问答系统(VCR)的个人博客,记载个人任务进展在数据处理过程中,噪声数据的去除是一个关键步骤,它有助于提升数据质量和后续分析的准确性。噪声数据可能包括与主题无关的信息、错误的数据、重复的数据等。
2024-06-24 07:02:31 203
原创 山东大学软件学院创新实训VCR系统个人博客(10)
本博客为山东大学软件学院2024创新实训,25组可视化课程知识问答系统(VCR)的个人博客,记载个人任务进展数据校验是确保数据质量和准确性的重要步骤。在文本处理中,完整性校验和逻辑性校验是两种常见的校验方法。
2024-06-24 06:53:20 213
原创 山东大学软件学院创新实训VCR系统个人博客(11)
本博客为山东大学软件学院2024创新实训,25组可视化课程知识问答系统(VCR)的个人博客,记载个人任务进展。
2024-06-24 06:44:45 177
原创 山东大学软件学院创新实训VCR系统个人博客(8)
本博客为山东大学软件学院2024创新实训,25组可视化课程知识问答系统(VCR)的个人博客,记载个人任务进展数据标准化是数据预处理的一个重要步骤,特别是在文本分析和自然语言处理(NLP)任务中。标准化的目的是消除数据中的不一致性和冗余,从而提高数据质量和处理效率。以下是对提到的两种数据标准化方法的详细分析和代码实现。
2024-06-24 06:34:16 125
原创 山东大学软件学院创新实训VCR系统个人博客(9)
本博客为山东大学软件学院2024创新实训,25组可视化课程知识问答系统(VCR)的个人博客,记载个人任务进展数据去重是数据清洗中的一个重要步骤,用于消除数据集中的重复项。以下是针对提到的两种去重方法的详细分析和代码实现。
2024-06-24 06:18:59 300
原创 山东大学软件学院创新实训VCR系统个人博客(6)
本博客为山东大学软件学院2024创新实训,25组可视化课程知识问答系统(VCR)的个人博客,记载个人任务进展在数据预处理阶段,对文本数据进行清洗和转换是非常重要的步骤,以确保后续的数据分析和模型训练能够顺利进行。
2024-06-24 05:42:11 282
原创 山东大学软件学院创新实训VCR系统个人博客(2)
本博客为山东大学软件学院2024创新实训,25组可视化课程知识问答系统(VCR)的个人博客,记载个人任务进展制定针对百度百科的爬虫策略时,需要考虑的是网站的结构、反爬虫机制以及数据提取的需求等。
2024-06-24 03:22:06 258
原创 山东大学软件学院创新实训VCR系统个人博客(1)
本博客为山东大学软件学院2024创新实训,25组可视化课程知识问答系统(VCR)的个人博客,记载个人任务进展数据源的分析与选择是数据分析过程中的关键步骤,它涉及到对数据的理解、质量评估、以及最终选择适合分析的数据源。我们的目的是为了实现一个可视化课程知识问答系统,主要是面向计算机网络这门课程。
2024-06-24 02:48:26 115
原创 山东大学软件学院创新实训VCR系统个人博客
在请求中,你需要提供必要的参数,如输入文本、生成文本的长度限制等。如果使用云服务,如阿里云PAI平台,你可以按照平台的指导进行模型部署。2.点击“模型部署”,配置灵骏计算资源(如GPU类型、数量等),然后点击“部署”按钮将模型部署到PAI-EAS推理服务平台。:使用HTTP客户端(如curl、Postman或编程语言中的HTTP库)发送GET或POST请求到模型的API端点。3.部署完成后,通过部署的在线服务详情页,查看服务访问地址(Endpoint)和访问凭证(Token)。
2024-05-31 15:02:44 886
原创 山东大学软件学院创新实训VCR系统个人博客
在修改配置文件后,建议进行简单的验证以确保配置正确无误。运行ChatGLM3的示例代码或进行简单的推理测试来检查配置是否生效。首先,需要找到ChatGLM3的配置文件。这是一个.json或.yaml文件,位于ChatGLM3的源码目录中。本博客为山东大学软件学院2024创新实训,25组可视化课程知识问答系统(VCR)的个人博客,记载个人任务进展。通过按照上述步骤修改ChatGLM3的配置文件,根据需求调整模型的运行参数,以便更好地满足应用场景。
2024-05-31 14:56:14 430
原创 山东大学软件学院创新实训VCR系统个人博客
在请求中,你需要提供必要的参数,如输入文本、生成文本的长度限制等。2.点击“模型部署”,配置灵骏计算资源(如GPU类型、数量等),然后点击“部署”按钮将模型部署到PAI-EAS推理服务平台。1.使用的是阿里云PAI QuickStart,可以在PAI控制台中快速开始页面找到Qwen-72B-Chat的模型卡片。3.部署完成后,通过部署的在线服务详情页,查看服务访问地址(Endpoint)和访问凭证(Token)。如果下载的模型文件是压缩的(如.zip、.tar.gz等),你需要使用适当的工具进行解压。
2024-05-31 14:48:39 706
原创 山东大学软件学院创新实训VCR系统个人博客
综上所述,Qwen-72B的原理主要基于神经网络架构和Transformer架构,通过海量的训练数据和各种优化技术来训练和优化模型。其作为大语言模型,具有强大的表达能力和广泛的应用前景。需要注意的是,Qwen-72B的能力取决于其训练数据和训练过程。此外,模型的性能还可能受到输入数据的质量和格式的影响。综上所述,Qwen-72B以其高性能、高可控性和丰富的功能特性,在国内外大模型领域中占据了重要的地位,并为企业、科研机构和开发者提供了强大的支持。
2024-05-31 14:47:22 705
原创 山东大学软件学院创新实训VCR系统个人博客
首先,查看ChatGLM3的官方文档或GitHub仓库的requirements.txt文件来确定所需的Python版本。运行ChatGLM3的示例代码或进行简单的推理测试来检查配置是否生效。ChatGLM3的本地部署中,Python虚拟环境的创建是重要的一步,它有助于隔离不同项目的依赖项,避免版本冲突。按照以上步骤操作,能够成功地为ChatGLM3创建一个Python虚拟环境,并在其中安装所需的依赖项。通过按照上述步骤修改ChatGLM3的配置文件,根据需求调整模型的运行参数,以便更好地满足应用场景。
2024-05-31 14:45:46 628
原创 山东大学软件学院创新实训VCR系统个人博客
综上所述,为了让ChatGLM3更好地学习和记忆,需要准备高质量的数据集、优化模型架构、采用有效的训练和优化策略、引入记忆更新机制以及进行充分的评估和调整。综上所述,ChatGLM3作为一款大语言模型,在性能、功能和应用方面均有着显著的优势和特点,为用户提供了更加智能、高效的对话和交互体验。大语言模型ChatGLM3是由智谱AI与清华大学KEG实验室联合发布的新一代对话预训练模型。本博客为山东大学软件学院2024创新实训,25组可视化课程知识问答系统(VCR)的个人博客,记载个人任务进展。
2024-05-31 14:43:42 750
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人