m0_72572822的博客

原创 【DL】循环神经网络

循环神经网络（Recurrent Neural Networks, RNN） 是一种常用的神经网络结构，它源自于1982年由Saratha Sathasivam提出的霍普菲尔德网络。1986年，Elman等人正式提出了用于处理序列数据的循环神经网络。如同卷积神经网络是专门用于处理二维数据信息（如图像）的神经网络，循环神经网络是专用于处理序列信息的神经网络。它是根据"人的认知是基于过往的经验和记忆"这一观点提出的。

原创 【DL】复杂卷积神经网络Ⅱ

相比之下，ResNet是每个层与前面的某层短路连接在一起，连接方式是通过元素级相加。假设将堆叠的几层神经元称为一个block，那么对于某个block，假设其拟合的函数是 F(x)，如果期望潜在映射为 H(x)，与其让 F(x) 直接拟合 H(x) ，不如去学习残差 H(x)−x，即 F(x)=H(x)−x，这样其前向路径就变成了 F(x)+x，即 H(x)=F(x)+x。ResNet 是目前依然非常流行的深度神经网络架构，在计算机视觉领域有着广泛的应用，并为之后的深度神经网络架构的提出和改进奠定了基础。

原创 【DL】复杂卷积神经网络Ⅰ

2012 年，Alex Krizhevsky等人的AlexNet模型在ILSVRC(ImageNet Large Scale Visual Recognition Challenge)中取得了骄人的成绩，这一成果使得CNN成为了当时最先进的图像识别模型。2014年，VGGNet凭借着更深更宽的网络结构取得ILSVRC竞赛定位任务第一名。同年，GoogLeNet采用了能更高效利用计算资源的Inception模块，在ILSVRC的分类任务上击败VGGNet夺得冠军。

原创 【DL】卷积神经网络

卷积其实是一种数学运算，常用于信号处理和图像处理领域。它的基本思想是将一个函数与另一个函数进行点积，并通过滑动窗口的方式计算整个输入数据的值。一维卷积的数学表示如下：其中 f 和 g 分别表示输入函数和卷积核函数，∗ 表示卷积运算符，t 表示时间，τ 表示滑动窗口的位置。二维卷积的数学公式类似，如下所示：其中 f 和 g 分别表示输入函数和卷积核函数，∗ 表示卷积运算符，x 和 y 表示二维平面上的位置，x′ 和 y′ 表示滑动窗口的位置。

原创 Error in gym setup command: ‘extras_require‘ must be a dictionary whose values are strings or lists

安装gym 0.21.0时出现setup.py错误，原因是与高版本setuptools不兼容。解决方法：先降级setuptools到58.0.4版本（pip install setuptools==58.0.4），再安装gym（pip install gym==0.21.0），最后可升级setuptools到最新版。此问题源于gym包与新版setuptools的兼容性问题，而非pip本身。

原创 【DL】最优化理论和深度学习

本文系统介绍了深度学习中的优化算法及其实现。首先阐述了训练误差与泛化误差的概念，然后详细讲解了梯度下降、随机梯度下降(SGD)和小批量梯度下降等基础优化方法。重点分析了改进型优化算法：动量法通过梯度加权平均减少震荡；AdaGrad自适应调整学习率；RMSProp引入指数加权平均；Adadelta自动调整学习率而不需手动设置。文章还讨论了学习率调节策略及其重要性，并通过PyTorch实现示例展示了Adadelta算法的实际应用。这些优化方法在深度学习训练中各有特点，能够有效提升模型收敛速度和性能。

原创 【DL】正则化技术

本文介绍了神经网络中常用的正则化技术（L2/L1正则化、Dropout）以及梯度问题（梯度消失/爆炸）及其解决方法。L1正则化适用于稀疏数据但参数分布均匀，L2正则化使参数平稳但对稀疏数据无效。Dropout通过随机"删除"神经元提高泛化能力。针对梯度问题，文章提出梯度裁剪、权重正则化、ReLU激活函数、批归一化等方法，并建议使用合理的参数初始化、稳定优化器（如Adam）和残差连接等技巧来改善深层网络训练效果。

原创 【DL】深层神经网络

本文介绍了多层感知机(MLP)的基本结构和关键组件。MLP由输入层、隐藏层和输出层组成，通过激活函数实现非线性转换。详细分析了四种常见激活函数(Sigmoid、Tanh、ReLU、Softmax)的特性、适用场景及优缺点。阐述了神经网络训练中的前向传播和反向传播机制，解释了损失函数和梯度下降的作用。最后讨论了模型复杂度与过拟合、欠拟合的关系，并提出了正则化、调整网络结构等应对策略。全文系统性地介绍了神经网络的基础知识和技术要点。

原创 【DL】浅层神经网络

本文介绍了机器学习中的线性回归模型和神经网络基本原理。在回归分析中，使用均方误差（MSE）和平均绝对误差（MAE）作为评估指标，通过优化器（如SGD）不断优化目标函数。神经网络通过多层节点和权重连接模拟人脑功能，利用反向传播算法调整参数，并使用激活函数（如ReLU）实现非线性转换。在多分类问题中，采用Softmax回归输出类别概率，交叉熵作为损失函数来衡量预测准确性。文章还阐述了熵、相对熵和交叉熵在评估概率分布差异中的应用。

原创 【DL】Math

摘要：本文介绍了线性代数、微积分和概率论的基础概念。在线性代数部分，解释了标量（0D张量）、向量（1D张量）和矩阵（2D张量）的区别；微积分部分涵盖极限、导数、微分、偏导数和梯度的定义；概率论部分阐述了联合概率与条件概率的关系及其转化方法，并介绍了贝叶斯定理的计算公式和应用场景。这些数学概念为机器学习和深度学习提供了理论基础。

原创 【DL】Deep Learning base

机器学习通过数据训练模型解决问题，涉及模型参数优化、目标函数定义和最优化算法应用。监督学习处理分类、回归等问题，无监督学习解决聚类、降维等任务，强化学习则专注于智能体决策策略。深度学习作为高效技术，擅长处理非结构化数据。各类方法在数据处理、模型构建和优化策略上各有特点，需根据具体问题选择合适算法。

原创 Apache Flink

"Apache Flink is the opensource stream processing framework for distributed, high-performance, ready-to-use, and accurate stream processing applications."Apache Flink is a framework and distributed processing engine for stateful computation of unbounded an

原创 HDFS（Hadoop Distributed File System）

HDFS, short for Hadoop Distributed File System, is an implementation of the Hadoop abstract file system. The Hadoop abstract file system can be integrated with local systems, Amazon S3, etc., and can even be operated through the Web protocol (webhsfs). HDF

原创 Retrieval-augmented Generation(RAG)

RAG

原创 YOLOv8 Model Training

YOLOv8 Model Training。

原创 Large model application development

原创 Java backend technology architecture

Java Advanced

原创 Python Data Structure and Algorithm Analysis

【代码】Python Data Structure and Algorithm Analysis。

原创 Python Learning Roadmap

原创 Note -- 2024.4

【Code】Note -- 2024.4。

原创 Some collections -- 2024.3

We used TensorFlow to define and train our machine learning model, which can recognize handwritten numbers, called a number classifier model in machine learning terminology.We transform the trained TensorFlow model into TensorFlow Lite ready for deployment

原创 Java--Send multiple

【代码】Java--Send multiple。

原创 Markdown to write

markdown

原创 Linux work

【代码】Linux work。

原创 Git and solve the problem denied to xx

Git and a problem

原创 Hadoop -- UserLogin Statistical data

seven files aboult hadoop

原创 Django Test

Django

原创 Django--Laboratory drug management and early warning system

Django2.2

原创 Django--Learning and understanding

New understanding

原创 Two answers to questions about MISC

MISC

原创 Configuration of phpstudy and sqli-labs

phpstudy and sqli-labs

原创 Burp Suite--Get acquainted for the first time

Burp Suite

原创 Install pydot and install graphviz

install pydot (pip install pydot) and install graphviz

原创 java.sql.SQLException: Cannot set billDate: incompatible types.

Query: SELECT bill.*, NAME FROM bill, menu WHERE bill.menuId = menu.id Parameters: []

原创 Jupyter Notebook: change the python exvironment

Jupyter Notebook

原创 torch.cuda.OutOfMemoryError: CUDA out of memory.

CUDA out of memory

原创 labelImg--Another understanding

labelImg

原创 YOLOv5--Try it for the first time and run

yolov5

原创 pip install torch without anaconda

pytorch

原创 Visual Studio Code: launch.json

【代码】Visual Studio Code: launch.json。