![](https://img-blog.csdnimg.cn/20201014180756923.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
山东大学软件学院创新实训个人博客
文章平均质量分 86
山东大学软件学院创新实训个人博客
锦尘233
这个作者很懒,什么都没留下…
展开
-
山东大学软件学院创新实训个人博客汇总
介绍如何从头开始构建一个爬虫,用于抓取高校网站的数据,包括选择合适的爬虫框架和避免常见的爬虫陷阱。详细介绍构建知识图谱的全过程,从数据整理到图谱生成,以及在此过程中遇到的主要技术挑战。讨论知识图谱在数据分析中的应用,如何通过图谱增强数据的内在联系和深度洞察。深入探讨理论上的集成方法和实际操作中的步骤,包括接口设计和数据同步策略。分享一些提高爬虫效率和数据质量的技术和策略,包括多线程爬取和云端部署。讲述如何处理和清洗从网站爬取的数据,包括数据的标准化和存储。原创 2024-05-23 09:05:04 · 980 阅读 · 0 评论 -
创新实训爬虫篇2——《山东大学相关知网文章爬虫》
分析山东大学网站的反爬虫策略,并分享如何设计爬虫以高效安全地收集数据。原创 2024-05-23 09:07:44 · 300 阅读 · 0 评论 -
创新实训爬虫篇3——《山东大学各学院简介》
讲述如何处理和清洗从网站爬取的数据,包括数据的标准化和存储。原创 2024-05-23 09:13:44 · 129 阅读 · 0 评论 -
创新实训知识图谱篇1——《使用DeepKE进行实体和关系抽取的深度解析》
通过本文的解析,我们了解了使用DeepKE进行实体和关系抽取的基本流程。从数据准备、模型选择到训练和优化,DeepKE提供了一套完整的解决方案,帮助用户高效地进行知识抽取。未来,随着深度学习技术的发展,DeepKE有望在更多复杂场景下实现更高效的知识抽取。此外,DeepKE的模块化设计和多语言支持为其在实际应用中的灵活性和扩展性提供了保障。原创 2024-05-23 09:16:18 · 454 阅读 · 2 评论 -
创新实训知识图谱篇2——《知识图谱构建的步骤与挑战》
数据收集是构建知识图谱的第一步。数据来源可以是结构化数据(如数据库)、半结构化数据(如XML、JSON)和非结构化数据(如文本、图像)。数据的多样性和广泛性决定了知识图谱的丰富性和实用性。步骤识别数据源:确定需要收集的数据源,如古籍文献、现代文献、百科全书等。数据获取:使用爬虫或API从数据源中提取数据。例如,可以从《将进酒》原文和相关注释中收集数据。数据存储:将收集到的数据存储在适当的数据库中,以便后续处理和分析。原创 2024-05-24 20:06:23 · 338 阅读 · 1 评论 -
创新实训知识图谱篇3——《图谱数据库的选择与实施:以Neo4j为例》
Neo4j是一款高性能的图谱数据库,专为处理复杂的关系数据而设计。它基于图论的数据结构,通过节点、边和属性的方式来存储和管理数据。原创 2024-05-24 20:06:53 · 234 阅读 · 1 评论 -
创新实训知识图谱篇4——《利用知识图谱提高数据分析的价值》
知识图谱在数据分析中的价值不容忽视。通过整合多源数据、发现隐藏关联和进行预测分析,知识图谱可以显著提升数据分析的深度和广度。结合具体的工具和方法,如Neo4j、RDF和SPARQL等,能够高效地构建和利用知识图谱,为各类数据驱动的应用提供强大的支持。希望本文能帮助您更好地理解知识图谱在数据分析中的应用,并提供一些实际操作中的指导。如果对知识图谱构建和应用有进一步的兴趣或需求,建议参考相关文献和技术资源。原创 2024-05-24 20:07:33 · 379 阅读 · 1 评论 -
创新实训知识图谱篇5——《知识图谱的扩展与维护实战》
本文将探讨知识图谱的扩展方法、维护策略以及实际操作中的工具和案例,旨在提供一套系统的方法来提升知识图谱的质量和实用性。通过合理的扩展方法和维护策略,可以确保知识图谱的高质量和实用性,为各类数据驱动的应用提供强有力的支持。例如,在扩展《将进酒》知识图谱时,可以从李白的其他诗作中提取新的实体和关系,如新的人物、地名和历史事件。:利用最新的NLP技术和大规模标注数据,重新训练了实体识别和关系抽取模型,提高了数据抽取的准确性和效率。:根据最新的知识和信息,更新过时的数据,保持图谱的时效性。原创 2024-05-24 20:08:05 · 337 阅读 · 1 评论 -
创新实训大模型篇1——《本地部署ChatGLM3-6B的细节指南》
对于需要在本地部署ChatGLM3-6B并希望使用4比特量化以减少内存占用的用户,本指南将详细介绍如何在Windows平台上进行部署。通过本指南,您可以在Windows平台上成功部署ChatGLM3-6B,并利用4比特量化模型有效地降低内存需求。:至少需要一块具有6GB VRAM的GPU,用于4比特量化后的模型部署。:使用更高配置的GPU,或者尝试在CPU上运行量化模型(速度会较慢)。:确保网络连接正常,重新下载模型文件,或尝试从其他镜像站点下载。:GPU内存不够,尤其是量化模型仍需一定的显存。原创 2024-05-24 20:08:43 · 405 阅读 · 1 评论 -
创新实训大模型篇2——《融合外接知识库以增强ChatGLM3-6B的问答能力》
对于ChatGLM3-6B这样的大型语言模型(LLM),融合外接知识库如知识图谱,可以帮助其在复杂问题上的表现更加出色。结合LangChain和Neo4j,可以实现高效的检索增强生成(RAG),提升问答系统的性能和用户体验。具体性能对比可以通过实验验证。这种架构设计能够充分利用知识图谱的结构化信息和LLM的语言生成能力,实现高效的问答系统。:在模型生成响应时,将检索到的知识图谱数据嵌入到生成过程中,以提供上下文和准确的信息。这种方法结合了向量检索的高效性和知识图谱的结构化信息,可以显著提升问答系统的性能。原创 2024-05-24 20:17:06 · 316 阅读 · 1 评论 -
创新实训大模型篇3——《面对大数据挑战:优化语言模型的性能》
分析如何在面对大规模数据时优化语言模型的处理性能,包括内存管理和并行计算技术。原创 2024-05-24 20:17:37 · 347 阅读 · 0 评论 -
创新实训大模型篇4——《智能问答系统的测试与评估方法》
介绍如何对集成了外接知识库的问答系统进行有效的测试和评估,确保其准确性和响应速度。原创 2024-05-24 20:18:47 · 477 阅读 · 0 评论 -
创新实训大模型篇5——《从理论到实践:语言模型与知识库的集成技术》
深入探讨理论上的集成方法和实际操作中的步骤,包括接口设计和数据同步策略。原创 2024-05-24 20:18:08 · 318 阅读 · 0 评论 -
创新实训可视化展示篇1——《Flutter基础介绍与项目初始化》
从前端框架选择到具体实现,详细介绍如何使用React开发知识图谱的可视化工具。原创 2024-05-24 20:19:51 · 384 阅读 · 0 评论 -
创新实训可视化展示篇2——《数据库设计与持久化管理》
讨论如何设计交互性强的用户界面,使用户能够直观地探索和操作知识图谱。原创 2024-05-24 20:20:21 · 440 阅读 · 0 评论 -
创新实训可视化展示篇3——《图谱展示功能实现》
分享前端开发中的性能优化技巧,特别是在处理大量数据和复杂交互时的策略。原创 2024-05-24 20:21:46 · 421 阅读 · 0 评论 -
创新实训可视化展示篇4——《图谱编辑功能实现》
在本篇博客中,我们详细介绍了图谱编辑功能的设计与实现,讲解了如何实现节点和关系的增删改查功能,并通过多步骤的对话框实现用户友好的编辑界面。在本篇博客中,我们将介绍图谱编辑功能的设计与实现,详细讲解如何实现节点和关系的增删改查功能,并通过多步骤的对话框实现用户友好的编辑界面。TextField(controller: toNodeController, decoration: InputDecoration(labelText: '目标节点')),'添加节点' : '编辑节点'),类来表示图谱中的节点和边。原创 2024-06-19 01:43:38 · 1562 阅读 · 0 评论 -
创新实训可视化展示篇5——《大模型聊天系统集成》
在本篇博客中,我们介绍了如何设计和实现智能问答系统,详细讲解了用户界面的设计、大模型接口的集成、数据管理以及系统性能的优化。在未来的开发中,我们可以进一步优化系统,添加更多功能,如语音输入、多语言支持等,以提升用户体验。本篇博客将介绍如何设计和实现一个智能问答系统,详细讲解如何集成外部大模型接口,实现与大模型的交互,并提供智能聊天功能。为了实现与外部大模型的交互,我们需要将用户的问题发送到大模型的接口,并获取回复。中,我们可以在发送和接收消息时将消息保存到数据库中,并在初始化时加载历史消息。原创 2024-06-19 01:45:31 · 1330 阅读 · 0 评论 -
创新实训可视化展示篇6——《联系人列表功能实现》
通过上述步骤,我们实现了联系人列表的基本功能,包括从数据库加载联系人信息,显示联系人信息,以及实现联系人信息的添加、编辑和删除功能。这个功能是我们应用的重要组成部分,主要包括从数据库加载联系人信息,展示联系人信息,以及实现联系人信息的增删改功能。在上面的代码中,我们实现了联系人列表的显示、添加、编辑和删除功能。每个联系人显示在列表中,点击可以编辑联系人,右侧的删除按钮可以删除联系人。在这个类中,我们实现了数据库的初始化、联系人信息的插入、更新、删除和查询操作。child: Text('删除'),原创 2024-06-19 01:46:27 · 582 阅读 · 0 评论