![](https://img-blog.csdnimg.cn/20190927151124774.png?x-oss-process=image/resize,m_fixed,h_224,w_224)
AI深度学习
文章平均质量分 83
机器学习、深度学习、人工智能学习与交流
North_D
纯粹的技术控,热爱徒步和骑行,谢谢关注。不定期心得分享,满满干货。
App分享在InsCode:https://inscode.csdn.net/@qq_39813001
展开
-
大语言模型三个应用方向
进一步为解读上述三个由大语言模型驱动的产业机会及其对应的技术框架与应用方向:新型云计算公司 - 模型即服务 (MaaS):行业模型精调服务:基于大模型底座的应用开发公司:原创 2024-03-14 08:24:37 · 2314 阅读 · 0 评论 -
创建旅游景点图数据库Neo4J技术验证
本章主要实践内容:(1)neo4j知识图谱库建库。使用导航poi中的公园、景点两类csv直接建库。(2)pg建库。携程poi入库tripdata的poibaseinfo表,之后,导航poi中的公园、景点也导入该表。原创 2024-03-10 10:10:52 · 1608 阅读 · 0 评论 -
极简sklearn上手教程,快速体验特性
该示例假设已有一个DataFrame和目标列名,训练了一个随机森林分类器,然后计算并可视化某个特征与其他特征间的交互效应。解释:在Python环境中安装scikit-learn库是学习和使用其功能的第一步。解释:对于大规模计算和性能优化,可以利用scikit-learn内置的并行能力。先用训练集拟合缩放器,然后将其应用于训练集和测试集,确保数据具有相同的尺度。首先加载数据并划分为训练集和测试集,然后训练模型,并评估模型在测试集上的准确率。解释:这个例子展示了如何使用scikit-learn中的。原创 2024-03-06 21:04:40 · 612 阅读 · 1 评论 -
自然语言处理Gensim入门:建模与模型保存
DIM_RP, DIM_LSI, DIM_LDA 分别指定了RP、LSI和LDA模型的维度大小。原创 2024-02-25 17:39:35 · 1179 阅读 · 0 评论 -
transformer、tokenizer在大语言模型LLM中的作用和示例代码
在大语言模型(LLM)中,Transformer架构和Tokenizer(分词器)都是核心组成部分,各自扮演着重要的角色。总的来说,Transformer和Tokenizer在LLM中起着至关重要的作用。Transformer通过其独特的自注意力机制和并行处理能力,为LLM提供了强大的文本理解和生成能力;而Tokenizer则将原始的文本数据转换为模型可以处理的数字格式,为模型的训练和推理提供了便利。原创 2024-02-25 10:22:01 · 1157 阅读 · 0 评论 -
torch\tensorflow在大语言模型LLM中的作用
它们提供了构建神经网络所需的工具和基础设施,支持分布式训练,以及模型的导出和部署。同时,这两个框架的庞大社区和丰富生态系统也为LLM的研究和开发提供了宝贵的资源。首先,PyTorch和TensorFlow都提供了高级的API和工具,使得研究人员和开发人员能够更容易地构建复杂的神经网络结构,如Transformer,这是LLM的核心组成部分。最后,PyTorch和TensorFlow都有庞大的社区和丰富的生态系统,提供了许多预训练的模型和有用的库。它们为构建、训练和部署LLM提供了必要的工具和基础设施。原创 2024-02-25 10:04:18 · 760 阅读 · 0 评论 -
人工智能机器视觉、大数据与向量数据库的交融之路
随着科技的不断进步,计算机视觉(Computer Vision, CV)作为人工智能领域的关键技术之一,在大数据和新型数据结构的支持下展现出前所未有的活力与发展潜力。本文将深入探讨计算机视觉当前的发展现状与趋势,并以大数据与向量数据库为例,分析它们如何相互作用,推动CV技术在解决实际难题中的应用以及面临的机遇与挑战。原创 2024-02-24 19:22:47 · 626 阅读 · 0 评论 -
基于大语言模型的LoRA微调及模型合并技术实践指南
模型合并主要涉及将多个LoRA模型的适配器参数有效地整合到一个统一的模型中,以便在一个模型上执行多种任务。原创 2024-02-24 11:35:29 · 2795 阅读 · 0 评论 -
FAISS+bge-large-zh在大语言模型LangChain本地知识库中的作用、原理与实践
FAISS是Facebook AI研发的高效相似性搜索和稠密向量聚类的库。其核心原理包括倒排索引(IVF)和乘积量化(PQ)。IVF通过将向量空间划分为多个子空间(称为“桶”或“聚类”),使得搜索可以在更小的范围内进行,从而加速搜索过程。而PQ则是一种向量压缩技术,它能够在保持向量间距离近似不变的前提下,大幅度减少存储和计算成本。原创 2024-02-23 14:36:35 · 3557 阅读 · 1 评论 -
大语言模型LangChain+ChatGLM3-6B的本地知识库与行业知识库价值体现
它们不仅能够提升模型的领域适应性,使得模型在面对特定领域的问题时能够给出更加精准、专业的回答;更重要的是,这些知识库的引入增强了模型的可解释性和信任度,让用户更加放心地依赖AI模型做出决策。LangChain作为一款灵活且强大的工具,为本地知识库与行业知识库的构建、整合和管理提供了全面的支持。同时,我们也期待看到更多创新性的知识库管理方案和应用实践的出现,为人工智能的发展注入新的活力。通过与ChatGLM3-6B的结合,模型能够针对学生的问题提供详细的解答和辅导建议,帮助学生更好地掌握知识和提高学习成绩。原创 2024-02-23 09:35:27 · 1087 阅读 · 0 评论 -
大语言模型LangChain本地知识库:向量数据库与文件处理技术的深度整合
具体来说,首先利用文件处理技术对原始数据进行预处理和内容提取,然后将提取出的文本数据转换为向量表示,并存储到向量数据库中。在LangChain知识库中,类似的文件处理技术可以用于处理各种文件格式,如PDF、Word、HTML等,从而提取出结构化的文本数据供后续分析和存储使用。整合后的效果提升是显著的。它们的深度整合不仅提升了知识库的查询速度和准确度,还为知识库的可扩展性和未来发展奠定了坚实的基础。向量数据库是一种基于向量索引的数据库系统,它能够将文本数据转换为向量表示,从而支持高效的相似度匹配和语义搜索。原创 2024-02-22 20:43:40 · 2271 阅读 · 0 评论 -
关于大语言模型LLM相关的数据集、预训练模型、提示词、微调的文心一言问答
关于这几个概念或者问题,在不同的层面、不同的任务下、不同的语境下不一样。有没有一个全面的认知?本文也无法给出答案。只能尽量试图抽丝剥茧。熬了一个通宵,夜不能寐~内心有些小焦躁偷个懒,不整理了,把原始问答摘录出来。想了想,过意不去,还是简单罗列几点:1、预训练模型的数据集结构一般采用较规范的结构,这种结构延续到了提示词结构中。但是不一定就说数据集和提示词就是一回事。2、数据集一般针对专业技术人员,在模型开发阶段使用。提示词降低了技术难度,可以面向普罗大众。原创 2024-02-22 06:37:21 · 1819 阅读 · 0 评论 -
解锁大语言模型LLM对话潜力:ChatGLM3-6B的多轮对话实践与深入探索
通过对ChatGLM3-6B在多轮对话实践中的深入探索和功能挖掘,我们可以看到它在对话生成任务中的巨大潜力和独特优势。未来随着技术的不断发展和创新,我们期待看到更多基于ChatGLM3-6B的对话系统在各个领域的应用和突破。同时,我们也需要不断关注新的挑战和问题,并积极寻求解决方案和改进策略以推动对话生成技术的进一步发展。相信在不久的将来,我们将能够与更加智能、自然的对话系统进行交互,享受更加便捷、高效的信息获取和交流体验。原创 2024-02-22 05:05:48 · 2445 阅读 · 0 评论 -
大数据与人工智能的交融:向量数据库在具体应用案例中的探索
向量是数学中表示方向和大小的量,在计算机科学中常用于表示数据的特征。向量数据库通过高效的索引和检索算法,能够快速找到与给定向量相似的其他向量。这使得它在处理大规模高维数据时具有显著优势,如图像、文本和语音等数据的相似度匹配和检索任务。向量数据可以表示文本、图像、音频等多种模态的信息。向量数据库通过高效的索引和检索算法,能够在大规模数据集中快速找到与查询向量相似的数据。原创 2024-02-22 01:16:02 · 1254 阅读 · 1 评论 -
Yolo V5在实时视频流中的建筑物与彩钢房检测:性能评估与改进方法
随着技术的不断发展,计算机视觉在实时视频流处理中的应用越来越广泛。从智能安防监控到自动驾驶汽车,实时准确的目标检测是这些应用成功的关键。Yolo V5作为一种高效的目标检测模型,在实时视频流处理中发挥着重要作用。本文旨在评估Yolo V5在建筑物和彩钢房检测中的性能,并提出改进方法以优化其在实际应用中的表现。之前的帖子《基于Yolo V5的实时视频流的建筑物检测及彩钢房检测》对这一解决方案进行了一个流程性的介绍,本文对挑战、检测性能、改进方法做一个归纳。原创 2024-02-21 17:11:41 · 888 阅读 · 2 评论 -
本机windows搭建达摩院与高德联合出品的地理地址自然语言处理模型MGeo实战
MGeo提炼了常用的地址处理任务并建立了地理语义理解能力评测基准GeoGLUE,使用MGeo底座在GeoGLUE中提供的任务数据集上进行了训练。地址信息处理是对地址相关文本的自动化挖掘、理解与关联。这项技术广泛地应用在社会生活的各个场景之中。例如我们常用的地图软件中就用到了大量的地址信息处理技术来构建POI库,实现POI搜索与推荐;在外卖物流行业中,对于地址的解析、定位准确率的提升则直接带来运力成本的大量降低;原创 2024-02-21 12:51:01 · 1610 阅读 · 1 评论 -
大语言模型LLM的文生图、文生视频和文生语音技术简介
传统的LLM在生成每个单词时只使用前面的上下文信息,而Llama通过引入前瞻结构,将后面的上下文也考虑在内,从而提高了生成文本的质量和连贯性。LLM的原理是通过大规模的数据集进行训练,通过学习数据中的语言模式和规律,来生成符合语法和语义的文本。同时,模型的优化和调整也可以进一步提升生成的质量。通过将训练好的大语言模型与TTS和ASR模型相结合,可以实现基于文本描述生成语音的功能,或者将语音转化为文本。需要注意的是,实现这些功能需要大量的数据和计算资源,并且可能涉及到一些复杂的技术,如生成模型、对齐算法等。原创 2024-02-20 10:46:20 · 1998 阅读 · 0 评论 -
大数据、人工智能、向量数据库的关系
大数据技术体系可以被看作是人工智能技术的基础,它提供了数据的基础设施和处理能力。人工智能技术则在此基础上构建了更高层次的智能应用,通过数据的学习和推理,实现了更复杂的智能功能,如自然语言处理、图像识别和智能推荐等。综上所述,大数据技术体系和人工智能是相互依赖和相互促进的关系,大数据技术为人工智能提供了数据基础,而人工智能技术则通过学习和推理,进一步挖掘和应用大数据。这些主流开源大数据技术在人工智能中的应用有助于处理和分析大规模的数据,并为机器学习和深度学习提供强大的计算能力,从而推动人工智能的发展和应用。原创 2024-02-19 18:50:13 · 960 阅读 · 1 评论 -
计算机视觉发展的方向和潜在机会
这些是一些可能的方向和创业项目,未来计算机视觉领域仍有很大的发展潜力,创业者可以根据自身兴趣和技术能力选择适合的方向。原创 2024-02-19 11:05:40 · 771 阅读 · 1 评论 -
基于Yolo V5的实时视频流的建筑物检测及彩钢房检测
与传统的目标检测算法相比,YOLOv5具有更高的速度和更准确的检测性能。通过这个系统框架,您可以实时传输视频流,并使用YOLOv5对建筑物进行检测,然后通过分类模型对检测结果进行进一步的识别和分类,以判断建筑物是否包含彩钢板屋顶。视频流传输的步骤、yolo v5建筑物检测、以及进一步针对检测结果进一步对包含彩钢板屋顶的建筑物进行分类。b. 区分彩钢板屋顶:对筛选出的建筑物进行进一步的分类,通过分类模型判断是否为彩钢板屋顶。a. 筛选建筑物:根据YOLOv5的检测结果,筛选出属于建筑物类别的物体。原创 2024-02-19 11:17:41 · 1350 阅读 · 2 评论 -
阿里云人工智能工程师ACP认证考试:15天备考到通过经验分享
在工作中,接触并使用深度学习相关技术已经有4、5年左右,具备一些AI相关的理论和经验。随着2023年AIGC的火热,个人的热情被带动起来,有必要系统、全面的对人工智能、机器学习、深度学习进行总结和再学习。那就设立一个可量化的学习目标吧:考个人工智能相关的认证,以证促学。踅摸了一圈,将目标确定为阿里云人工智能工程师ACP认证。记录、分享一下经验。原创 2024-02-08 10:57:29 · 1157 阅读 · 0 评论