- 博客(319)
- 资源 (116)
- 收藏
- 关注
RSS订阅原创 力压Transformer，详解Mamba和状态空间模型
状态空间模型是一种通过数学方法全面描述系统状态的方式，包含了描述系统所必需的全部最小变量。简单来说，就像在迷宫中寻找路径，状态空间就是那张展示所有可能位置（即状态）的地图。在这张地图上，每个点都代表一个独特的位置，并且携带了如距离出口远近等具体信息。进一步简化这个概念，可以将“状态空间表示”理解为这张地图的提炼，它不仅告诉我们当前所在的位置（即当前状态），还展示了可能的目的地（未来状态），以及如何通过特定的行动（比如右转或左转）达到下一个状态。
2024-08-23 10:57:13
519
原创 使用知识图谱，大幅提升RAG准确性
我们已经成功实现了RAG的检索组件，接下来将引入一个提示，利用集成混合检索器提供的上下文来生成响应，从而完成RAG链的实现。{context}"""chain = (| prompt| llm最后，可以继续测试我们的混合RAG实现。"})# 搜索查询：Which house did Elizabeth I belong to?（伊丽莎白一世属于哪个王朝?# 'Elizabeth I belonged to the House of Tudor.'（'伊丽莎白一世属于都铎王朝。'）
2024-08-23 10:28:30
462
原创 35个NumPy数据科学核心方法，从入门到精通
NumPy数组支持丰富的元素级数学运算，这些运算可以对数组中的每个元素单独进行。创建一个填充零的NumPy数组是很常见的，可以通过使用NumPy中的。使用NumPy库之前，首先需要进行导入，在Python中，通常将。重塑是指在不改变其数据的情况下给NumPy数组一个新的形状。如果想从NumPy数组中移除长度为一的轴，请用。类似地，如果想返回沿轴的最小值的索引，请使用。要确定NumPy数组中非零元素的索引，请使用。要计算NumPy数组的标准差沿指定数组，使用。要找到NumPy数组中值的平均值沿轴，使用。
2024-07-24 23:27:06
1318
原创 使用Ollama和OpenWebUI，轻松探索Meta Llama3–8B
大家好，2024年4月，Meta公司开源了Llama 3 AI模型，迅速在AI社区引起轰动。紧接着，Ollama工具宣布支持Llama 3，为本地部署大型模型提供了极大的便利。本文将介绍如何利用Ollama工具，实现Llama 3–8B模型的本地部署与应用，以及通过Open WebUI进行模型交互的方法。
2024-07-24 23:05:54
888
原创 基于LangGraph多智能体技术，搭建AI写作自动化系统
LangGraph是LangChain的增强版，专注于构建智能体及多智能体流程。其核心优势在于新增的循环流程构建功能以及内嵌的记忆机制，这些特性对于智能体的构建极为重要。LangGraph为开发者提供了高度的控制能力，这在自定义智能体和流程的开发中极为关键。市面上绝大多数的智能体都是针对特定应用场景进行了定制。LangGraph不仅赋予了开发者灵活定制智能体的能力，还提供了直观且易于操作的开发体验。
2024-07-19 16:47:45
839
原创 使用PyTorch从零训练自己的大模型
LLM是如今大多数AI聊天机器人的核心基础，例如ChatGPT、Gemini、MetaAI、Mistral AI等。这些LLM背后的核心是Transformer架构。本文介绍如何一步步使用PyTorch从零开始构建和训练一个大型语言模型（LLM）。该模型以Transformer架构为基础，实现英文到马来语的翻译功能，同时也适用于其他语言翻译任务。（本文以论文 "Attention is all you need " 来构建 transformer 架构。
2024-07-19 16:16:46
975
原创 详解MLOps，从Jupyter开发到生产部署
从 Jupyter 笔记本到生产环境，运用持续集成和数据版本控制等 DevOps 工具，自动化了 AI 模型的训练与测试等常规手动流程。掌握自动化 AI 训练的技能对于迎接即将到来的机器学习时代不可或缺。希望本文能够成为实用的指导和帮助。
2024-07-18 18:20:05
1051
1
原创 轻松掌握PyTorch CUDA编程，机器学习如虎添翼
CUDA（Compute Unified Device Architecture，统一计算设备架构）是由Nvidia开发的编程模型和并行计算平台。使用CUDA，开发人员可以最大化地利用Nvidia提供的GPU，从而提高计算能力，并通过并行化任务来更快地执行操作。PyTorch提供了torch.cuda库来设置和运行CUDA操作。利用PyTorch的CUDA功能，可以创建张量并将其分配至GPU。完成分配后，所有计算操作都将在GPU上进行，确保结果也存储于该设备。
2024-07-18 18:14:25
901
原创 使用Dropout大幅优化PyTorch模型，实现图像识别
大家好，在机器学习模型中，如果模型的参数太多，而训练样本又太少，训练出来的模型很容易产生过拟合的现象。在训练神经网络时，过拟合具体表现在模型训练数据损失函数较小，预测准确率较高，但是在测试数据上损失函数比较大，预测准确率较低。Dropout可以比较有效的缓解过拟合的发生，在一定程度上达到正则化的效果。
2024-06-25 15:47:36
368
原创 比较LlamaIndex和LangChain，选择适合的大模型RAG框架
大家好，大型语言模型（LLMs）正引领人工智能技术的创新浪潮。自从OpenAI推出ChatGPT，企业、开发者纷纷寻求定制化的AI解决方案，从而催生了对开发和管理这些模型的工具和框架的巨大需求。LlamaIndex和LangChain作为两大领先框架，二者各自的特点和优势，将决定它们在不同场景下的应用。本文介绍这两个框架的主要差异，帮助大家做出明智的选择。
2024-06-24 23:20:59
1896
原创 6个应该学习的DuckDB SQL增强功能
大家好，DuckDB的SQL最初是基于PostgreSQL的，尽管这是一个不错的、可以模仿的SQL版本，但是随着时间的推移，DuckDB已经为其SQL功能引入了一些有用的补充，以使编程工作更加轻松。对于那些没有听说过DuckDB的人来说，它是一个用C++编写的内存数据库，专为分析型SQL工作负载而设计。它的速度也非常快，性能可以与Polars相媲美。下面让我们来看看本文所涉及的一些有用的SQL命令。
2024-06-24 23:13:14
1366
原创 进阶必看，3种灵活操作PyTorch张量的高级方法
大家好，在PyTorch中进行高级张量操作时，开发者经常面临这样的问题，如何根据一个索引张量从另一个张量中选取元素。例如有一个包含数千个特征的大规模数据集，需要根据特定的索引模式快速提取信息。本文将介绍三种索引选择方法来解决这类问题。
2024-06-19 17:18:48
935
原创 Python开发者的7个PyCharm必备插件
大家好，本文将推荐使用7个必备的PyCharm IDE设置和插件，希望能帮助了解如何修改和增强IDE体验，使其更适合个人使用，毕竟作为开发者，大部分时间都是在这里工作。
2024-06-16 17:32:25
669
原创 7个强大的文字转语音TTS引擎
大家好，文本到语音（TTS）技术让机器能以人声般自然地“说话”，架起了人机沟通的新桥梁。开源TTS引擎以其开放性和经济性，成为热门工具，为智能应用注入活力。文本到语音（TTS）引擎，是一种将文字信息转化为口语表达的智能软件。它通过自然语言处理（NLP）技术深入分析文本内容，并借助语音合成器，创造出接近人类自然语音的输出。TTS引擎广泛应用于虚拟助手、导航系统和辅助工具等领域，为用户带来便捷的语音交互体验。
2024-06-11 18:18:56
2977
原创 迁移学习助力机器学习实践应用
大家好，迁移学习是一种技术，能使机器利用从以前任务中获得的知识来提高对新任务的泛化能力。作为ChatGPT和Google Gemini等模型的核心原理，迁移学习在长文档总结、复杂文章撰写、旅行规划以及诗歌和歌曲创作等重要任务中发挥着关键作用。本文将介绍迁移学习相关知识，包括定义、与深度学习及现代生成式AI模型的紧密联系，以及所面临的挑战和局限。
2024-06-11 17:55:27
854
原创 10个令人惊叹的Python自动化脚本
该自动化脚本可以监控复制的所有内容，将复制的每个文本无缝地存储在一个时尚的图形界面中，这样就不必在无尽的标签页中搜索，也不会丢失一些有价值的信息。无论是作为 "红队 "的一员在执行任务，还是在 "蓝队 "中坚守阵地，这个脚本都能为你提供有用的便利工具。其最棒的地方在于它是一个网络应用程序，只需稍作改动，就可以将它部署到云存储上，随时随地访问所有密码，而无需担心安全问题。
2024-06-05 20:53:36
1161
原创 8个流行的Python可视化工具包
大家好，在做图表时我们总是期望选择好看又实用的可视化工具包，本文将介绍一些常用的 Python 可视化包，包括这些包的优缺点以及分别适用于什么样的场景。把这三个包放在一起是因为 Seaborn 和 Pandas 是建立在 Matplotlib 之上的，当使用 Seaborn 或 Pandas 中的 df.plot() 时，用的其实是别人用 Matplotlib 写的代码。图片是交互式的，有令人满意而且便于自定义的美化功能，但在文件的创建和渲染部分比较麻烦。有很多数据可视化的包，但没法说哪个是最好的。
2024-06-05 19:05:46
610
原创 使用Streamlit和MistralAI创建AI聊天机器人应用
Mistral AI是一家位于法国的公司，致力于成为开放人工智能的领军者，其核心使命是为开发者社区带来顶尖的开放模型。该公司以对开源精神的坚守而闻名，不仅向公众提供了遵循Apache 2.0许可的模型，还提供了原始模型权重，以支持和促进研究工作。Mistral AI 不仅向公众开放了其预训练和微调模型的源代码，还提供了模型的原始权重，以支持更深层次的研究和开发。
2024-06-01 22:09:33
972
原创 Keras 3.0强势回归，助力深度学习
自然语言处理（NLP）领域中，神经机器翻译（NMT）模型是一种重要的技术。NMT通常采用编码器-解码器架构，该架构基于循环神经网络（RNN），本例中特指长短期记忆网络（LSTM）。在这种架构下，编码器由一个嵌入层和一个RNN层组成，负责将原始文本转换为向量形式。处理后的编码器最终状态随后传递给解码器。与此同时，目标文本也经过嵌入层，但在送入解码器前，会向前偏移一个步骤，以序列开始（SOS）占位符作为起始。
2024-06-01 18:00:00
1662
原创 Python最全系统学习路线，顺序真的很重要
大家好，如果你一直想学Python，但是不知道如何入手，那就别犹豫了。根据经验来说，想从零开始学Python，以后也确实想找相关的工作，基本是下边这三种方式：专业学习。报考相关专业，进行系统学习，毕业的时候去找工作不成大问题；看书自学。这块可以看看GitHub【Python百天之路】-骆昊，对细节把握很到位；在网上找视频课自学。可以利用碎片时间去学，时间上会更节省。
2024-05-31 14:01:43
907
原创 7个Python爬虫入门小案例
大家好，随着互联网的快速发展，数据成为了新时代的石油。Python作为一种高效、易学的编程语言，在数据采集领域有着广泛的应用。本文将详细讲解Python爬虫的原理、常用库以及实战案例，帮助读者掌握爬虫技能。
2024-05-31 13:21:55
1707
原创 从LangChain升级LangGraph，大幅提升智能体性能
迁移至LangGraph的智能体会获得更深层次的能力和灵活性。按照既定步骤并理解系统消息的概念，将有助于实现平滑过渡，并优化智能体的性能表现。为了获得更全面的迁移指导和掌握高级技术，建议查阅官方LangChain文档。
2024-05-30 23:32:04
788
原创 解密PyTorch Lightning，实操简化深度学习
PyTorch Lightning并非PyTorch的替代品，而是一个高级封装框架，使PyTorch更加便捷和可扩展。通过抽象化常见的样板代码，PyTorch Lightning让开发者能够将精力集中在模型的构建和优化上，避免深陷于复杂的细节实现之中。安装PyTorch Lightning：在深入框架之前，请先安装好PyTorch。接下来使用 MNIST 数据集构建一个简单的神经网络，开始实践 PyTorch Lightning。
2024-05-30 23:28:12
982
原创 6个Python开发者少用但功能强大的模块
大家好，每种流行的通用编程语言都有一个功能丰富、组织良好的标准库，可以帮助开发者使用预先开发的函数或类来提高编码效率。一些编程语言提供预导入的对象或函数来访问标准库，例如JavaScript。而有些语言则提供单独的可导入模块。Python的标准库中有许多有用的预开发的可导入模块，提供各种自解释的类和函数。每个Python开发者通常都了解一些流行的通用标准库模块，如redatetimemathrandom等。这些只是Python标准库提供的众多模块中的一小部分。
2024-05-27 23:35:06
1287
原创 创建Transformer编码器和多头注意力层
大家好，计算自然语言处理（NLP）是一个迅速发展的领域，其中计算力量与语言学相结合。语言学的一部分主要归功于约翰·鲁珀特·弗斯的分布语义理论，他曾说过以下的名言：“你可以通过其周围的上下文单词来了解一个目标单词”，这表明一个词的语义表示取决于它所在的上下文。正是基于这一假设，Ashish Vaswani等人的论文“Attention is all you need” 具有重要的开创性，它将Transformer架构设定为许多迅速增长的工具的核心，如BERT、GPT4、Llama等。
2024-05-27 17:14:05
672
原创 用于时间序列概率预测的蒙特卡洛模拟
大家好，蒙特卡洛模拟是一种广泛应用于各个领域的计算技术，它通过从概率分布中随机抽取大量样本，并对结果进行统计分析，从而模拟复杂系统的行为。这种技术具有很强的适用性，在金融建模、工程设计、物理模拟、运筹优化以及风险管理等领域都有广泛的应用。蒙特卡洛模拟这个名称源自于摩纳哥王国的蒙特卡洛城市，这里曾经是世界著名的赌博天堂。在20世纪40年代，著名科学家乌拉姆和冯·诺依曼参与了曼哈顿计划，他们需要解决与核反应堆中子行为相关的复杂数学问题。
2024-05-25 22:43:39
1192
原创 OpenAI模型GPT-4o、GPT-4、Gemini 1.5性能比较
大家好，OpenAI最新推出的GPT-4o，标志着人工智能语言模型和交互方式迈入了新纪元。最引人注目的是，GPT-4o支持实时互动和流畅的对话切换，让交流更加自然。本文将对比分析GPT-4o、GPT 4以及谷歌的Gemini和Unicorn模型，分析是基于一个独立创建的英文数据集，对这些模型在分类任务上的表现进行深入比较。
2024-05-25 18:12:05
1555
原创 机器学习模型可视化分析和诊断神器Yellowbrick
大家好，机器学习(ML)作为人工智能的核心，近来得到巨大应用，ML是使计算机能够在无需显式编程的情况下进行学习和预测或决策。ML算法通过学习历史数据模式，来对新的未见数据做出明智的预测或决策。然而，构建和训练ML模型只是第一步，同样重要的是对这些模型进行分析和解释，以深入了解其行为、性能和局限性。模型分析帮助我们了解模型对数据底层模式的捕捉程度，识别潜在的偏差或错误，并对模型改进或部署做出明智决策。随着机器学习模型变得日益复杂，理解其内部工作原理和有效评估其性能变得更加具有挑战性。
2024-05-24 13:41:03
740
原创 全自动机器学习AutoML高效预测时间序列
此方法可应用于预测PJM地区的日常能源消耗数据。首先使用专门的时间序列模型 Prophet 对原始数据进行建模作为基准，然后将数据转换为表格格式，提取出更多有用的特征，再使用通用的机器学习分类算法进行建模和预测。结果显示，与基准的 Prophet 模型相比，表格数据加梯度提升树的方法可将预测误差降低67%(准确率提高38%)。使用自动机器学习(AutoML)技术，对表格数据自动选择并调优最佳的分类算法。
2024-05-24 13:08:21
1179
原创 一种综合评价及决策方法：层次分析法AHP
大家好，层次分析法(Analytic Hierarchy Process，AHP)是一种多准则决策方法，它帮助决策者处理复杂的决策问题，将其分解成层次结构，然后通过两两比较来确定各个层次的因素之间的相对重要性。这种分析方式允许决策者对问题进行系统化的、结构化的处理，从而更清晰地理解各因素之间的相互关系和作用。AHP的核心思想是通过对各个因素的两两比较，得出一个比较矩阵，然后利用特定的数学方法（如特征值分解）计算出每个因素的权重，最终将这些权重综合起来，确定备选方案的总排序。
2024-05-23 16:06:56
808
原创 检索增强生成RAG的概念及参考架构
大家好，自ChatGPT火爆以来，大语言模型（LLMs）驱动的智能应用如雨后春笋般涌现，迅速改变了我们与世界互动的方式。在众多智能AI应用架构中，RAG（检索增强生成）架构以其独特的优势和强大的功能，迅速引起了广泛关注，成为业界的热门话题。RAG是一种提高大型语言模型 (LLM) 输出质量的方法，结合了信息检索和生成式模型的优势，通过检索相关信息来增强生成结果，显著提升了生成内容的准确性和相关性。这种架构不仅快速实现用户的复杂需求，还可以为用户提供更专业、更精确的回答。
2024-05-23 15:16:53
699
原创 妙用LangChain智能体，搭建音乐推荐系统
LangChain智能体需要访问工具，这些工具将使它们能够与外部数据源一起工作。目前，还没有与Spotify API的原生集成，因此需要从BaseTool类继承并构建一个Spotify工具，然后将其交给智能体。name = "Spotify音乐推荐器"description = "当被要求提供音乐推荐时使用此工具。请注意，我们提供了何时使用此工具的描述，这允许LLM使用自然语言理解来推断何时使用该工具，还提供了工具应该期望的输入的模式。
2024-05-22 19:01:44
1137
原创 快速入门PyTorch自然语言处理，实现文本分类
PyTorch为处理自然语言处理任务提供了一个直观且强大的平台，从创建简单的神经网络到处理词嵌入和文本分类，该框架简化了开发过程。随着深入使用PyTorch探索NLP，不妨尝试挑战一些更高级的领域，例如序列到序列模型、注意力机制和迁移学习。PyTorch社区提供了丰富的资源、教程和预训练模型，为大家学习和实践提供了强有力的支持。
2024-05-22 18:53:14
876
原创 一文介绍数据和模型漂移(Drift)：漂移检测示例
大家好，漂移(Drift)是机器学习中用来描述模型在生产环境中随着时间推移而性能逐步下降的现象，由很多原因引起，主要原因是随着时间推移输入数据（x）分布的变化和期望目标（y）之间的关系发生了变化。在使用机器学习模型时，漂移是一个很大的挑战，因为数据通常是动态的，不断变化的。机器学习模型是基于过去的数据进行学习的，但在实际使用时，由于环境的变化，这些模型可能会渐渐失去准确性，就像是“过气”一样，这种现象被称为“漂移”。数据漂移可以被看作是导致模型漂移的原因之一，而模型漂移则是由数据漂移的影响而产生的结果。
2024-05-21 17:44:10
1310
原创 FLAML：智能自适应AI的引擎
大家好，尽管创建机器学习模型相对容易，但实现高准确率却是每个数据科学家梦寐以求的目标。常常我们会不断进行参数调整、尝试不同的算法，以及应用各种优化技术来提升模型的性能，但这些过程耗费了大量时间和精力。2019年学术界和业界逐步实现了AutoML（自动机器学习）框架，可以帮助自动化这些繁琐的过程，在这些AutoML框架中，FLAML备受推崇。FLAML不仅能够简化参数调整、算法选择和优化技术的应用，同时还能够显著减少时间消耗，并提供高准确率的机器学习模型。
2024-05-21 16:49:54
945
原创 7个常见的SQL慢查询问题及其解决方法
大家好，得益于摩尔定律，计算机性能已大幅提升，加上数据库的进步以及微服务所倡导的各种反模式设计，因此现在编写复杂SQL查询的机会越来越少。业界已经开始提倡不要进行专门的SQL优化，因为节省下来的资源并不足以抵消员工的工资成本。本文将介绍7个常见的SQL慢查询语句，并解释如何优化它们的性能。
2024-05-20 23:56:18
2189
原创 详细比较MLOps和LLMOps
MLOps（机器学习操作）：MLOps是一种结合机器学习、软件工程和DevOps实践的方法论，核心目标是简化机器学习模型的部署、管理和维护。它侧重于实现机器学习系统整个生命周期的自动化，包括数据准备、模型训练、部署、监控和再训练。LLMOps 特指与语言模型（如 ChatGPT）相关的操作实践。它涉及语言模型生命周期的管理，包括训练、微调、部署、监控和版本控制。LLMOps的目标是确保语言模型在其生命周期内的可靠性、性能和安全性。
2024-05-20 23:16:37
574
原创 3款常用的可视化工具Matplotlib、Seaborn和Pandas
大家好，Seaborn 是基于 Matplotlib 的扩展库，Pandas 的可视化功能同样也依赖于 Matplotlib。尽管二者都使用相同的底层图形库，但绘制图表的方法却各有千秋。本文将介绍各种柱状图的绘制，比较 Matplotlib、Pandas 和 Seaborn 在数据可视化方面的功能、优势和局限。
2024-05-13 21:54:33
1046
原创 数据科学：使用Optuna进行特征选择
大家好，特征选择是机器学习流程中的关键步骤，在实践中通常有大量的变量可用作模型的预测变量，但其中只有少数与目标相关。特征选择包括找到这些特征的子集，主要用于改善泛化能力、助力推断预测、提高训练效率。有许多技术可用于执行特征选择，每种技术的复杂性不同。本文将介绍一种使用强大的开源优化工具Optuna来执行特征选择任务的创新方法，主要思想是通过有效地测试不同的特征组合（例如，不是逐个尝试它们）来处理各种任务的特征选择的灵活工具。下面，将通过一个实际示例来实施这种方法，并将其与其他常见的特征选择策略进行比较。
2024-05-13 17:06:59
1166
原创 Python Supervisor助力代码后台运行
Supervisor 是一个 C/S 架构的进程监控与管理工具，其最主要的特性是可以监控目标进程的运行状态，并在其异常中断时自动重启。同时支持对多个进程进行分组管理。完整特性详见官方文档 github 与 document。配置文件的一些主要配置参数如下;chmod=0700;;;;log level;;;;;;;;;;;;[include];对于上述配置参数，可以按照具体的需求进行自定义，大多数参数可以保持默认设置。但是为了方便多个项目的统一管理，需要启用 [include] 参数。
2024-05-11 19:12:16
961
Python设备运维管理系统源码
2024-07-21
Python热点问题网络舆情情感演化分析
2024-06-24
Python旅游数据爬虫及可视化展示源码
2024-06-13
基于Python机器学习的中文情感识别系统
2024-06-13
Python大众点评数据可视化分析源码
2024-06-12
基于Python+Vue汽车数据分析大屏可视化系统
2024-06-07
空气质量检测可视化数据平台(包含前后端)
2024-06-07
基于Python迁移学习和数据融合的棉花检测系统
2024-06-07
Python自然语言处理应用程序源码
2024-06-05
基于YOLO模型实现足球运动实时分析项目源码
2024-06-05
Python网络爬虫猫眼Top100电影可视化分析
2024-06-04
YOLOv5安全帽和危险区域识别+训练模型
2024-06-04
基于Python的时间序列预测与可视化系统
2024-05-25
基于YOLO模型实现网球运动实时分析项目源码
2024-05-24
Python爬取CBA球员数据分析可视化源码
2024-05-23
基于纽约房源信息的数据可视化和房价预测项目
2024-05-22
Python爬虫数据可视化制作音乐播放软件
2024-05-22
基于深度学习的滚动轴承故障诊断源码
2024-05-19
基于YOLOv5的火焰和烟雾检测模型
2024-05-19
Python影视数据分析可视化
2024-05-12
基于YOLOv5的安全帽识别检测系统
2024-05-12
基于Python和深度学习的停车场智能车牌识别系统
2024-05-12
基于Python的社交空间好友情感分析系统
2024-05-11
基于Python与深度学习的垃圾分类系统实现
2024-05-11
基于Python的出租车轨迹数据分析与可视化
2024-05-11
基于Python的企业物流数据分析平台
2024-05-10
基于Python的南京二手房数据采集及可视化分析
2024-05-09
基于unity开发的河流信息可视化项目
2024-05-09
Python实时弹幕分析可视化源码
2024-05-09
基于机器学习的MBTI人格预测系统项目
2024-05-08
Python机器学习实现掌纹识别源码
2024-05-07
Python天气预测可视化小程序源码
2024-05-07
Python笔记本电脑数据可视化分析源码
2024-05-06
Python深度学习项目：CNN手写数字识别测试准确率
2024-05-04
基于机器学习的加油卡与车辆号牌关系识别源码
2024-05-04
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人