黄大堂

神经网络是一种模拟人脑的神经网络，以期能够实现类人工智能的机器学习技术。"深度学习"是为了让层数较多的多层神经网络可以训练，能够work而演化出来的一系列的新的结构和新的方法。希望通过以下十个概念，为你打开进入神经网络/深度学习的大门。（如果遇到某个概念不能理解，没关系，继续往下看。）1.学习率学习速率是指导我们该如何通过损失函数的梯度调整网络权重的超参数。学习率越低，损失函数的变化速度就越慢...

并不是所有使用神经网络的尝试都能够成功，这有许多原因。一些问题可以通过改进训练数据、初始权重、设计良好的输出方案来解决。1.改进输入对于S激活函数，可以发现， 如果输入变大， 激活函数就会变得非常平坦。由于我们使用梯度学习新的权重， 因此一个平坦的激活函数会出问题。权重的改变取决于激活函数的梯度。 小梯度意味着限制神经网络学习的能力。 这就是所谓的饱和神经网络。 这意味着， 我们应该尽量...

以下代码来自于《Python神经网络编程》mnist_train.csv和mnist_test.csv来自于https://pjreddie.com/projects/mnist-in-csv/# python notebook for Make Your Own Neural Network# code for a 3-layer neural network, and code f...

卷积运算的处理流单个数据N个数据（批处理）卷积层应用im2col展开输入数据池化的处理顺序Max池化（从目标区域中取出最大值）还有Average池化（计算目标区域的平均值）等。池化层应用im2col展开输入数据...

物体识别（图像识别）物体识别是计算机视觉领域中的一项基础研究，它的任务是识别出图像中是什么物体。如，手写数字识别的图像类别分类问题。物体检测从图像中确定物体的位置，并进行分类。图像分割在像素水平上对图像进行分类。图像标题的生成给出一个图像后，会自动生成介绍这个图像的文字（图像的标题）。融合了计算机视觉和自然语言。PS：将组合图像和自然语言等多种信息进行的处理称为多模态处理。...

一、SGD描述随机梯度下降法(stochastic gradient descent)，策略是朝着当前所在位置的坡度最大的方向前进。数学式Python类class SGD: def __init__(self, lr=0.01): self.lr = lr def update(self, params, grads): for key in params...

（1）激活函数使用ReLU时权重初始值使用He初始值：标准差为√(2/n)的高斯分布w = np.random.randn(node_num, node_num) * np.sqrt(2/node_num)（2）激活函数为 sigmoid或 tanh等S型曲线函数时权重初始值使用Xavier初始值：标准差为√(1/n)的高斯分布w = np.random.randn(node_num,...