三余知行-CSDN博客

原创深度学习｜求导公式：梯度逆传播规律

神经网络学习的核心是计算损失函数的梯度，即求损失函数关于网络参数的偏导数。而网络的计算可以理解成一系列基本运算的复合，因此我们可以通过了解这些基本运算的导数求解方式，以及结合链式法则归纳出这些基本运算的复合形式的求导规律，来完成网络的梯度的高效计算。这就是误差逆传播算法的基本原理。

2024-09-29 22:24:21 1092 29

原创深度学习｜误差逆传播：梯度速解

BP 算法是迄今最成功的神经网络学习算法，通常神经网络（不限于前馈神经网络）都使用 BP 算法进行训练。“BP 网络”特指使用 BP 算法训练的多层前馈神经网络。BP 算法实质是 LMS（Least Mean Square）算法的推广。LMS 试图使网络的输出均方误差最小化，用于神经元激活函数可微的感知机学习，LMS 推广到由非线性可微神经元组成的多层前馈网络，就是 BP 算法。

2024-09-24 21:28:17 1455 49

原创深度学习｜损失函数：网络参数优化基准

损失函数（loss function）是表示神经网络性能“恶劣程度”的指标，即当前神经网络对监督数据有多么不拟合，多么不一致。在神经网络模型中，均方误差、交叉熵误差、绝对误差、Kullback-Leibler Divergence 和 Hinge Loss 等都具有实际价值，选择何种损失函数通常取决于特定问题的需求、目标以及数据的特征。

2024-09-18 12:42:49 1257 45

本文我们通过手写 Python 代码实现了一个简单的神经网络 SimpleNet，并使用 MNIST 数据集演示了 SimpleNet 的完整训练过程，最终我们对模型训练过程中训练集和测试机的识别精度做了跟踪验证，从结果可以看出，随着学习的进行，训练集和测试集的识别精度都很快从不足 10% 提高到了 94% 以上，SimpleNet 对测试集中未曾“见过”的图片也具备了准确的识别能力，这验证了 SimpleNet 的泛化能力。

2024-09-12 12:25:56 1924 44

原创深度学习｜梯度下降法：误差最小化的权重参数

梯度下降法是神经网络训练的核心算法，通过梯度下降法，我们可以找到使损失函数最小的权重参数，从而使神经网络的推理结果更加准确。梯度下降法是一个迭代的过程，需要不断调整参数，直至损失函数收敛。在实际应用中，我们还会使用一些优化算法（如 `Adam`、`RMSprop` 等）来加速梯度下降的过程，具体的优化算法我们将在后续篇章中详细介绍。

2024-09-09 23:20:55 1732 49

原创深度学习｜激活函数：网络表达增强

激活函数是神经网络的核心组件之一，其对于模型的性能是至关重要的。不同的激活函数在输出范围、计算复杂度、梯度表现和适用场景等方面存在显著差异。选择合适的激活函数应根据具体任务的需求、网络结构与数据特性进行考量。随着深度学习的发展，激活函数的类型、性质及其设计原则也在不断演进。了解各种激活函数的特性，有助于设计更有效的神经网络结构。

2024-09-05 23:53:28 1544 9

原创深度学习｜模型推理：端到端任务处理

神经网络是一种机器学习算法，它的目的是自动学会**端到端**任务的处理逻辑。这里说的端到端，便是指任务的最初输入端到最终输出端。神经网络的推理过程主要前向传播的过程，我们可以将输入数据通过网络的各个连接进行传递，每个神经元接收到上一层神经元传递的信息，并根据自身的权重和激活函数进行计算，然后将计算结果传递给下一层神经元。通过多个层次的计算和传递，神经网络就具备了对输入数据进行复杂逻辑处理的能力，并产生网络所需的端到端的预测或分类结果。

2024-09-04 19:59:35 3023 28

原创深度学习｜感知机：神经网络之始

感知机经历了从起初的热潮到冷却，再到现代深度学习复兴的过程。其简单而有效的结构与思想成为了现代人工智能的基石，指引了神经网络在各个领域的广泛应用与发展。感知机的基本结构与学习算法为现代复杂神经网络的设计奠定了理论基础，是理解更高级模型的关键。尽管受限于线性可分性，但其概念与学习算法是现代深度学习（如卷积神经网络、递归神经网络等）的发展提供了基础。感知机的思想指引研究者探索新的激活函数、优化算法及网络架构，从而推动深度学习领域的不断创新。

2024-09-03 22:31:31 1394 25

原创深度学习｜引介：未来已来

人工神经网络（ANN）是深度学习领域的核心概念，而深度学习几乎已经是现代人工智能（AI）的代名词，其对 AI 的发展起到了重要的推动作用。我们将围绕 ANN 的基本概念与原理、发展历史和近来趋势、应用领域等进行由浅入深的探讨，慢慢全面而细致地沉浸到这个重要主题的探索与剖析中去。

2024-09-03 13:28:11 1647 27

原创如何看待 IBM 中国研发部裁员？

IBM 中国研发部的裁员事件不仅是一个单纯的公司决策，而是在全球化背景下反映出的多重挑战和机遇。对于广大的 IT 从业者而言，提升自身竞争力是应对这一变化的关键；而对中国 IT 产业来说，提升自主创新能力和核心竞争力将是未来发展的必经之路。面对快速变化的市场环境，只有不断适应和变革，才能在新的竞争格局中立于不败之地。

2024-09-12 09:56:21 907 2

原创 Markdown｜LaTeX 语法

Markdown 中的 LaTeX 语法非常丰富，可以用来表示各种复杂的数学表达式，为插入数学公式提供了强大的功能。LaTeX 语法涵盖了向量、矩阵、集合、不等式、逻辑运算、函数变换等多种数学表达，通过使用特殊符号和命令，可以创建复杂的数学表达式。具体的支持可能会根据不同的 Markdown 渲染器（如 Jupyter Notebook、GitHub 等）有所不同，因此在使用时请参考所用编辑器的文档，以确保兼容性和正确性，灵活且准确地表达数学内容。

2024-09-08 23:10:24 1392 4

原创 Markdown｜基础语法

Markdown 是一种轻量级的标记语言，通常用于格式化文本。它易于阅读和编写，被广泛用于撰写文档、博客、电子邮件等。以下是 Markdown 的基本语法介绍。不同的 Markdown 渲染器可能支持不同的扩展和语法，因此在使用时应注意相应的文档和渲染器。掌握这些基本语法后，可以灵巧地创建各种格式的文档。

2024-09-08 23:03:42 1199 2

原创 Python 优雅编程：会报恩的代码（五）

在 Python 编程中，有一些常用技巧和最佳实践可以帮助你编写更优雅、更高效的代码。本文将介绍`使用 Python 从文本中搜索指定单词`的几个特定用法，并验证 re.compile 中缓存的存在，希望这些小技巧能在某个特定的时间正好帮到你。

2024-09-06 22:20:42 753 7

原创 Python｜玩转 Excel：Pandas、openpyxl、pywin32

`Excel` 是在数据处理和分析中一种最常用的工具，而 Python 是一种强大的编程语言。结合 Python 的数据处理库，可以方便地操作 Excel 文件，进行数据读取、处理、分析和报告生成等工作。本文将介绍如何使用 Python 操作 Excel 文件，包括读取、写入、数据处理、样式设置、数据验证、公式支持和图表创建等方面的内容。

2024-09-06 21:57:52 1215 1

原创 Python 优雅编程：会报恩的代码（四）

在 Python 编程中，有一些常用技巧和最佳实践可以帮助你编写更优雅、更高效的代码。本文将介绍的是 Python 中 `urllib.parse.quote_plus` 的 URL 编码作用、判断指定路径的文件是否存在、使用 `imaplib` 与 `smtplib` 实现收发邮件、使用 `matplotlib` 绘制人工神经网络拓扑图、使用 `Keras` 构建卷积神经网络（CNN）等。希望这些小技巧能在某个特定的时间正好帮到你。

2024-09-05 09:15:00 1091 9

原创 Python 优雅编程：会报恩的代码（三）

在 Python 编程中，有一些常用技巧和最佳实践可以帮助你编写更优雅、更高效的代码。本文将介绍的是 Python 中使用 `Scikit-Learn` 下载 `MNIST` 数据，并训练模型，序列化模型、`MLPClassifier` 模型的参数查看、MLPClassifier 的`激活函数`及其实现、从 `pandas.core.frame.DataFrame` 中获取数据等。希望这些小技巧能在某个特定的时间正好帮到你。

2024-09-04 22:47:34 1117 4

原创善用工具：开发与效率

在软件开发领域，在这个竞争激烈的社会环境中，合适的工具和资源是提升工作效率的关键因素。在编程工作中，传统的 Visual Studio Code、Git、Docker 和 Postman 等工具，“近来”不断融合智能化和自适应能力的新技术，都是我们需要握在掌中的好牌。此外，版本控制工具，团队协作工具、代码质量工具、学习平台和监控工具等也同样扮演着重要角色。这些工具能够帮助开发者改善协作、提高代码质量、简化日常操作并提升学习效率。通过有效整合这些工具和资源，开发者不仅能够优化个人工作流程，还能在团队合作中

2024-09-02 20:38:39 1729 3

原创计算之魂：持续于正确的因果链（二）

将问题中各种情况抽象成状态，将大量看似无关的情况用少数状态覆盖，再理清状态之间的逻辑关系。状态之间是存在因果关系的，借助 test（找到非法的状态）与 debug（找到导致非法状态的因果关系链）的能力，我们可以更好地理解问题的本质。有很多经典而有趣的问题或算法，它们计算之机巧，应用之广泛，类比之深远，皆值得我们去深思和不断探究。今天带来的是其中的12 球问题与和为 K 的字数组问题*

2024-09-02 09:15:00 1835 1

原创计算之魂：持续于正确的因果链（一）

站在系统的角度来考虑所有应用问题，沿着正确的方向，经过不断递进的联系，见识逾大，思考逾深，才能完成一次质的飞跃。有很多经典而有趣的问题或算法，它们计算之机巧，应用之广泛，类比之深远，皆值得我们去深思和不断探究。今天带来的是其中的**25 人赛跑**与**BB84 量子密钥分发**。

2024-09-01 18:02:52 1097

原创 Nginx 维护与应用：最佳实践

Nginx 是开发者和运维人员常用的 Web 服务器和反向代理工具，具有高性能、高可靠性和丰富的功能。我们对 Nginx 的基本安装、配置和常见应用场景需要有足够的了解，对于如何通过 Nginx 实现高可用性、负载均衡、缓存和 CDN 等功能也需要有一定的认识。Nginx 可以帮助企业建立稳定、高效的服务架构，但 Nginx 维护与应用具有一定的深度和广度，以上关于 Nginx 维护与应用的最佳实践提供了全方位的参考，为系统架构师和运维团队可以根据具体的应用场景和需求进行调整和优化。

2024-09-01 13:31:15 1060 3

原创 Python 数据可视化：工具与实践

Python 在数据科学领域中扮演着重要角色，特别是在数据可视化方面。有效的数据可视化可以帮助我们更清晰地理解数据，发现模式，传达信息。本文将从数据可视化库的比较与选择、交互式可视化与静态图表的区别，以及图表设计原则与最佳实践等方面，深入探讨 Python 作图的工具与应用实践。

2024-08-31 22:20:08 3258 36

原创 AI 内容创作：思考与实践

随着人工智能技术的迅猛发展，AI 写作逐渐成为一个热门话题。尤其是结合了大语言模型（LLM）和检索增强生成（RAG）技术的应用，越来越多的创作者开始关注如何利用 AI 在写作中实现更高的效率与质量。本文将从 LLM 与 RAG 集成的最佳实践、写作内容的结构层面和内容深度的优化、以及内容评测与自动优化迭代机制等方面深入探讨如何更好地利用 AI 进行写作，并进一步探讨一些关于 AI 写作的思考与实践。

2024-08-31 19:13:32 1761 24

原创问题最优解：实际问题转换图论问题

图论作为一种数学模型，为我们提供了分析各种实际问题的强有力工具。无论是在城市交通、社交网络还是物流优化领域，我们所面临的很多问题都可以通过图论理论来获取“最优解”，而如何将实际问题转换为图论问题是我们必须面对的挑战。本文将回归图论的本质，探讨实际问题到图论问题的转换、图算法的作用及求解优化、以及图论对解决实际问题的局限性与更多可能性。

2024-08-30 13:25:30 1013 4

原创 AI 模型的全能与专精之路

在人工智能（AI）迅速发展的今天，各种类型的 AI 模型层出不穷，从专注于特定任务的专业型 AI 到具备广泛应用能力的全能型 AI，都在不断推动社会的进步和技术的变革。近期，OpenAI 预计将在秋季推出代号为“草莓”的新一代 AI 模型，其展示的广泛多样性引发了人们对 AI 模型未来发展的热烈讨论。它是否暗示着全能型 AI 将逐渐取代专业型 AI？这种趋势是否代表了未来机器学习的发展方向？在这篇文章中，我们将深入探讨全能型 AI 与专业型 AI 的优劣，并分析它们在经济市场和用户偏好方面的潜力。

2024-08-30 09:15:00 1032 2

原创计算存储：时空权衡

存储是计算机科学中的一个核心话题，它不仅提供了对数据的持久性访问，还涉及资源的有效利用。计算机系统中可用的内存或磁盘空间的量，即存储空间；计算机执行操作所需的时间，包括处理时间和存取时间，即处理速度；此两者之间的平衡，我们可以称之为时空权衡。

2024-08-29 13:15:00 689 2

原创计算思维：串行、并行、分布式云计算、GPU

计算效率是计算机科学中的重要主题，不同的计算模式和架构设计适用于不同的场景。串行计算适用于小规模任务，而并行计算适用于大规模任务。分布式云计算适用于海量数据处理，GPU 批处理适用于深度学习和计算密集型任务。掌控每一种计算架构与思维方式是提高计算效率和性能的关键，也是计算机工程师的必备技能。在实际应用中，根据任务的特点和需求，选择合适的计算模式和架构设计。

2024-08-29 09:15:00 4292 23

原创 Python 优雅编程：会报恩的代码（二）

在 Python 编程中，有一些常用技巧和最佳实践可以帮助你编写更优雅、更高效的代码。本文将介绍的是 Python 中 `defaultdict` 的分组作用、`random` 在随机选取中的实践、使用 `networkx` 作图时，如何令图中的点一直保持相同的位置（不需要自行指定点的位置）、`logging.basicConfig` 的参数含义、`SQLAlchemy` 执行任意 SQL 等。

2024-08-28 13:15:00 1795 6

原创图论：最大流量问题与 Ford-Fulkerson 算法

最大流量问题是图论中的一个经典应用，主要涉及在给定的图中，从源点（Source）到汇点（Sink）能够传输的最大流量。这个问题常见于交通流、数据传输等领域。本文将介绍最大流量问题的基本概念，以及如何使用 Ford-Fulkerson 算法和 Edmonds-Karp 算法来解决这一问题。

2024-08-28 09:15:00 835

原创未来技术席位之争：《黑神话：悟空》

在过去的十多年里，国产商业游戏行业取得了显著的进步，不论是在技术水平还是市场表现上。随着技术的不断发展，越来越多的中国游戏作品在全球市场上崭露头角。通过图形渲染、物理引擎、人工智能（AI）等技术一系列的不断突破，国产游戏逐渐形成了自己的特色和优势。本文将深入探讨国产游戏技术在全球市场中的发展现状，面临的挑战，以及未来的机遇。

2024-08-27 14:15:00 951 2

原创图论：商业级网络爬虫思考

网络爬虫是一种用于自动抓取网页内容的程序。商业级网络爬虫通常用于搜索引擎、数据挖掘、竞争情报等领域。构建一个高效的“商业级”网络爬虫需要考虑多个方面，包括有向性与强连通性、节点的不可枚举性（可预知性）、动态变化的拓扑结构、体量（海量规模）、并行协调、流量控制、合法合规等。本文将从这些方面进行深入探讨，并提供一些实现示例与实践思考。

2024-08-27 09:15:00 1379 4

原创图论：图的遍历（DFS vs. BFS）

图的遍历是图论中的核心概念，通过不同的遍历方法能够有效地处理多种问题，例如连通性检测、路径查找、图的最小生成树等。本篇我们将重点探讨图的深度优先搜索（DFS）和广度优先搜索（BFS）两种常见的图遍历方法，分析它们的原理、应用场景以及实现方法，并通过实际案例代码分析问题解决方案。

2024-08-26 13:28:57 1057

原创图论：配对问题与匈牙利算法

在社会实验与市场机制中，图论可以帮助分析竞争与合作如何影响配对的效果。例如，通过分析竞争者间的边权重，评估配对质量。图论不仅是数学的抽象工具，更是现代科技和社会发展的重要支撑。探索图论在日常生活中的影响，激励我们在应对复杂问题时，更有效地运用这一理论，提升决策的科学性与效率。

2024-08-26 09:15:00 2313 8

原创图论：描述有限离散集合中元素间关系

图论作为一种数学理论，旨在研究有限的离散集合中元素之间的关系，其核心在于通过图的结构，即点与线的组合，精确地描述和解析对象间的互动与联系。图的定义不仅是数学抽象，更具有丰富的应用场景。本文将结合计算机科学的视角，从图论的基本概念、实际生活中的应用以及配对问题的解决方案三个方面进行深入探讨，并通过 Python 代码实现相关模型。

2024-08-25 19:41:53 640

原创 Python 优雅编程：来报恩的代码（一）

在 Python 编程中，有一些技巧和最佳实践可以帮助你编写更优雅、更高效的代码。本文将介绍 Python 中的 yield 和 yield from 用法，以及处理 offset-naive 和 offset-aware 的 datetime 对象时的最佳实践。此外，我们还将探讨如何处理 requests 异常，以提高代码的鲁棒性和用户体验。

2024-08-25 09:15:00 688

原创 Python ORM 最佳实践：Django ORM vs. SQLAlchemy

Django ORM 与 SQLAlchemy 无论是在性能优化、版本控制、事务管理、数据验证与清洗、以及缓存机制，还是在复杂查询的处理上，都有各自的新颖解法和优势。Django ORM 提供高效、快速的开发体验，适合小型及快速迭代的项目；而 SQLAlchemy 则为开发者提供了强大的查询和操作能力，适合复杂的应用需求。

2024-08-24 15:15:00 838

原创风波中坚守：技术应对突发故障的危与机

应对突发技术故障和危机不仅涉及技术层面的快速响应与解决，还包括用户沟通、跨部门合作、风险管理和技术社区参与等多方面的内容。通过构建全面的应对策略，开发团队能够更有效地处理突发事件，提升其整体的抗风险能力和技术实力。未来，随着技术的不断变化，团队应持续适应新的挑战，通过不断学习与改进，确保在风波中也能坚持自我，更加稳健地迈向未来。

2024-08-24 10:19:04 1184 10

原创分布式任务队列：Celery 最佳实践

在现代应用开发中，通过正确配置、合理使用各种功能以及监控管理，开发者可以构建出高效且可靠的异步任务处理系统。我们还探讨了异步任务的高级使用、特定应用场景中的优化、任务的故障与恢复策略，以及团队协作的最佳实践。Celery 的优势在应对复杂业务要求时尤为明显，随着需求的变化与大规模需求下推动下，Celery 的引入将会是提升开发效率与应用性能的一个不错选择。

2024-08-23 14:15:00 1621

原创 Django 集成 Celery：状态监控与任务管理

通过 Django Admin 管理 Celery Worker 任务是一种方便的方式，可以通过简单的配置和定制来实现任务的查询、查看、重试和终止等操作。通过本文提供的步骤和示例，您可以轻松地在 Django 项目中集成 Celery Worker，并通过 Django Admin 界面对任务进行管理和监控。

2024-08-23 09:15:00 993 4

原创 Django 集成与扩展：Database & Task Queue

Django 试图在所有数据库后端上支持尽可能多的功能。但并不是所有的数据库后端都是一样的，Django 不得不在设计上决定如何安全地支持哪一部分重要的功能。Django 官方支持的数据库有 PostgreSQL、MySQL、SQLite 和 Oracle。在这篇文章中，我们将讨论如何将 Django 切换到连接 PostgreSQL、MySQL、Oracle 和 SQL Server 数据库，同时使用 SSL/TLS 证书进行加密传输。

2024-08-22 13:32:59 1088 2

原创克服挫折感：编程与成熟且从容

编程学习中的挫折感并不可怕，关键在于我们如何面对它。心态的调整、学习方法的合理运用、成功经验的积累、时间管理、资源利用、自我激励与内驱力的培养，以及保持心理健康，都是帮助我克服挫折的重要因素。编程不仅是技能的掌握，更是心态与思维的成长。在这条路上，每一步前行都将让我更加成熟与从容。让我们在编程学习的旅途中，不断以积极的心态前行，以灵活的学习方法突破瓶颈，最终在这条道路上不断成长，创造属于我们的成功。愿我们都能以坚定的信念，在编程的世界中不断探索与追求，成就更好的自己。

2024-08-22 09:15:00 968 5