自然语言菜鸟学习笔记（五）：对神经元、神经网络的简单理解

神经元：

神经元是神经网络的一部分。是神经网络的最小结构，经过一定的设置后就能构成逻辑回归模型

 

从单个神经元来看：

首先先从真实的神经元的图片来看：

 

下图就是一个最基本的神经元，一个输出，多个输入

可以看到和上面的生理上的图片还蛮像的

 

 

可以看到中间的圆圈有两个步骤，一个步骤是权重和x相乘， 另外一个是做一个非线性，也就是激活函数，激活函数应用到上面去后，神经元就具体化了，成为一个模型（激活函数和非线性不在本文说明）

假设：

样本一 （input1: [x1, x2.......]，label1）

（label1代表标签，也就是正确的输出值，默认都了解）

经过激活函数H(x)得到一个预测值 y

Loss = label1 - y

去缩小Loss

 

多个神经元（神经网络）：

一个神经元可以用来做二分类的任务，多个神经元，可以用来做多分类的任务

从单个神经元到多个神经元的变化：

W ==> 从向量变成矩阵

W*x ===> 从值变为向量

也就是神经网络（上图和经典的神经网络模型很像）：

（画的不好见谅）

 

有一个神经元的时候就需要一个w向量，两个神经元需要两个w向量，w也就从向量变成了矩阵

原本二分类下是权重向量和输入向量相乘得到一个值和正确标签做loss，现在变成了

我们同样做一个过程假设：

有四个类别  label1， label2， label3， label4

假设样本1    （input1: [x1, x2.......]，label2）

input1向量分别和四个权重向量W[0], W[1], W[2], W[3]相乘得到四个预测值  y : [ 0.1, 0.15, 0.2 , 0.4 ]， 概率0.4最大，模型预测的标签可能是最后一个

做Loss：

将label做one-hot编码：

[

[1, 0, 0, 0],    # label1

[0, 1, 0, 0],    # label2

[0, 0, 1, 0],    # label3

[0, 0, 0, 1]     # label4

]

那么对例子做一个loss：

Loss = 求和(绝对值（label2 - y）) = 1.55

缩小Loss

 

 

本菜鸟学习不好，如有不妥望各位大佬指点

如要转载请说明原文：https://blog.csdn.net/qq_36652619/article/details/89437256