Xiang神经网络总结（二）

最新推荐文章于 2022-09-01 12:48:03 发布
最新推荐文章于 2022-09-01 12:48:03 发布
阅读量237 收藏 2
点赞数 1
分类专栏： 神经网络 文章标签： 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_39199850/article/details/116094339
版权

线性分类器

  1. 数据集介绍
    在这里插入图片描述

  2. 核心流程图在这里插入图片描述

  3. 图像类型：二进制图，灰度图，彩色图在这里插入图片描述
    二进制图像：图像的每一个像素值都是非0及1，非黑即白
    灰度图像：图像的每一像素值都是0-255之间的值
    彩色图像：RGB表示

  4. 图像表示

    必要性：在这里插入图片描述
    转换方法：在这里插入图片描述
    [R1,G1,B1,R2,G2,B2,R3,G3,B3]^T 三元组

  5. 线性分类器

  • 定义

在这里插入图片描述
每个类的参数w和b初始值是随意设置的，通过反向传播使得参数w和参数b得到更新。
Wi的函数等于类别数。

  • 线性分类器决策
    在这里插入图片描述
  • 线性分类器示例

图像表示成向量在这里插入图片描述
计算当前图像每个类别的分数在这里插入图片描述
按得分高低得出相应结论
在这里插入图片描述
参数梳理&CIFAR10举例
在这里插入图片描述
在这里插入图片描述

线性分类器的权值向量的物理理解
权值向量可以理解为数据的统计信息，一种数据的模板，“平均值”
在这里插入图片描述
在这里插入图片描述
线性分类器的决策边界
在这里插入图片描述
以二维平面为例，权值矩阵相当于y=ax+b的a控制着线的方向，b控制线的偏移，线性分类器尝试将二维平面中的样本簇以线的方式进行划分，由此带来的缺陷—线性不可分区域 注意二维平面到高维平面的映射。二维线，三维面 etc。

  1. 损失函数

    求解分类最优
    在这里插入图片描述

  • 损失函数的定义
    在这里插入图片描述
    作用：（1）度量给定分类器的预测值和真实值的不一致程度（2）作为反馈信号对分类器参数进行调整，降低当前示例对应的损失值。

在这里插入图片描述
Eg: 多类支撑向量机损失
在这里插入图片描述
若某一样本（比如说样本是猫）对于该样本是猫的得分比该样本是其他类别的得分高出1分，则没有损失。

计算举例：
在这里插入图片描述

  1. 正则项在这里插入图片描述
    对于是某一样本的损失均为零的两个权值矩阵
    在这里插入图片描述
    如何进行选择？
    在这里插入图片描述
    R(w)可以控制权值的分布(以L2正则项举例)
    在这里插入图片描述

超参数
在这里插入图片描述
常见的正则项损失:在这里插入图片描述

  1. 参数优化

定义
在这里插入图片描述
说白了就是你的权值矩阵和偏移量不够好，要改！

方法一：直接法

我们考虑一般函数的极值点一定是导数等于0的那些点，所以直接求解。
在这里插入图片描述
方法二：
梯度下降算法
在这里插入图片描述

在这里插入图片描述
在这里插入图片描述
学习率*梯度也就是 dx × 斜率

那么 如何计算梯度？ 数值法，解析法（高中数学水平）
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

问题 我们注意梯度计算公式
在这里插入图片描述
对于每一个训练样本都要算他的梯度，然后进行1/N操作，而我们从初始权值求解最优权值的过程中可能要进行多次迭代，这样每次涉及全部样本的操作耗时！计算量巨大！
在这里插入图片描述
解决方法：随机梯度下降算法 统计学思路，当迭代次数足够多的时候，频率接近概率。我们每次只随机选择一个样本计算梯度，并以此梯度，代替样本的平均梯度。虽然有些样本会带来噪声，但是当迭代次数足够多的时候，总会朝着样本的平均趋势前进
在这里插入图片描述
折中：小批量随机梯度下降算法
在这里插入图片描述

  1. 数据集划分
    传统划分：训练集+测试集。问题：诸如正则项等超参数的引入，超参数是你在测试集之前就应该准备好的，你不能用训练集训练超参数，测试集选取最优超参数-----引入验证集。
    在这里插入图片描述

在这里插入图片描述
解决数据较少时的方法：K折交叉验证
在这里插入图片描述
在这里插入图片描述
10. 数据预处理
去均值：不让最大和最小数据差距过大，减去平均值。
归一化：每个维度的数据分布一致，打个比方值域都是 [0,1]。保持量纲一致。w
去相关：一定的降维，让数据能够独立出来。（白化 神经网络不常用）
在这里插入图片描述

Xiang_Mamba
关注
  • 1
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 2
    评论
专栏目录
二维离散傅里叶变换的权值矩阵计算
chenf1999的博客
01-05 4396
例题 计算以下图像的离散傅里叶变换 f=[1441244224421441] f=\begin{bmatrix}1&4&4&1\\2&4&4&2\\2&4&4&2\\1&4&4&1\end{bmatrix} f=⎣⎢⎢⎡​1221​4444​4444​1221​⎦⎥⎥⎤​ 计算方式当然不是通过原始公式硬算，而是构造权值矩阵来计算。 考虑二维DFT的分解： F(u,v)=∑x=0M−1∑y=0N−1f(x,y)e−
权值矩阵
Phanyuc的博客
10-08 8280
【问题描述】 　　Mr_he有一个 n*m 的矩阵，并且把1~n*m 这n*m填写在这个矩阵中（注意，每个整数在矩阵出现一次，且仅出现一次）。 　　Mr_he同时约定一个矩阵权值等于这个子矩阵中的所有数的最小值。 　　现在Mr_he想知道，在给出的矩阵中，权值为i的子矩阵可能有多少种？ 【输入格式】 　　第一行， 两个整数 N, M。接下来的 N 行， 每行 M 个整数， 表示矩阵中的元素。
深度学习基础（三）—— 权值矩阵的初始化
04-26 7921
权值矩阵初始化的方式与激励函数的类型有关：对于 隐层 ii： tanh\tanh 型激励函数对称区间上的均匀分布：[−6fanin+fanout−−−−−−−−√,6fanin+fanout−−−−−−−−√][-\sqrt{\frac6{fan_{in}+fan_{out}}}, \sqrt{\frac6{fan_{in}+fan_{out}}}] sigmoid\text{sigmoid} 型激
神经网络设计（第二版）决策边界和权值向量的关系，Hamming网络的理解，Hamming网络 回复层是多余的？
qq_38109282的博客
10-20 2054
参考Hamming网络
学习笔记-图论-Prim算法的两种描述
ywsdxxzj的博客
04-10 683
目录简介描述一：集合版本具体内容算法例子描述二：权值矩阵版本具体内容算法例子总结胡言乱语 简介 在前几个学期学习离散数学和数据结构的时候学习过图论的基本知识，这个学期学通信网络基础时候把一些算法又学了一遍。其中Prim算法的描述稍有差异，以下对这两种描述进行简要介绍，并说明其等价性。 描述一：集合版本 数据结构课程中多采用此种描述。例子引自：知乎-Prim算法——最小生成树。 具体内容 用两个集合A{}, B{}分别表示找到的点集和未找到的点集； 以A中的点为起点a，在B中找一个点为终点B，这两个点构成
MATLAB神经网络原理与实例精解
06-28
《MATLAB神经网络原理与实例精解》首先简要介绍了MATLAB软件的使用和常用的内置函数，随后分门别类地介绍了BP网络、径向基网络、自组织网络、反馈网络等不同类型的神经网络，并在每章的最后给出了实例。在全书的最后...
神经网络设计 . 美国 Hagan.清晰版
06-28
本书介绍了神经网络的基本结构和学习规则，重点是对这些神经网络的数学分析、训练方法和神经网络在模式识别、信号处理以及控制系统等工程实践问题中的应用。本书尽力用清晰和一致的方式来组织材料，以易于阅读和使用...
人工神经网络理论、设计及应用_第2版
06-28
《人工神经网络理论、设计及应用_第2版》取材注意内容的典型性和先进性，编排注意内容的逻辑性，阐述注重物理概念的清晰性，举例与思考练习的安排注意了内容的实践性，常用神经网络及算法的介绍着重于实用性。
[MATAB神经网络30个案例分析].史峰.扫描版
07-08
该书是MATLAB中文论坛神经网络版块数千个帖子的总结，充分强调“案例实用性、程序可模仿性”。所有案例均来自于论坛会员的切身需求，保证每一个案例都与实际课题相结合。
chi-lun-xiang.zip_BP诊断_bp故障_齿轮 神经网络_齿轮优化_齿轮箱故障
07-14
基于遗传算法的BP神经网络优化算法。以此方法对齿轮箱进行故障诊断。
Matlab学习笔记——求解权重矩阵
宕桑
09-21 8766
[m,n]=size(a)表示矩阵的大小（行*列） m是行数，n是列数 [V,D]=eig(A)：求矩阵A的全部特征值，构成对角阵D，并求A的特征向量构成V的列向量。 num2str的作用是将数字转换为字符数组。...
《统计学习方法》学习笔记2——感知机
jiaxing.Du的博客
06-28 402
一、感知机模型 1、感知机定义：假设输入空间（特征空间）是，输出空间是。输入表示实例的特征向量，对应于输入空间的点；输出y表示实例的类别。由输入空间到输出空间的如下函数 称为感知机。 称为权值（weight）或权值向量（weight vector）， 叫做偏置（bias）。 表示两者的内积。sign是符号函数： 。 感知机的几何解释：线性方程 对应于特征空间中的一个超平...
神经网络学习笔记（8）——信号和权值向量空间（1）
weixin_44956186的博客
10-20 748
本次博客为复习线行代数知识，因为线性代数是理解神经网络必修学科。 1.线性向量空间 在我个人看来他就是满足一定的式子的抽象概念，具体如下： ****设V是一个非空集合，P是一个域。若： 1.在V中定义了一种运算，称为加法，即对V中任意两个元素α与β都按某一法则对应于V内惟一确定的一个元素α+β，称为α与β的和。 2.在P与V的元素间定义了一种运算，称为纯量乘法(亦称数量乘法)，即对V中任意元素α和...
求解神经网络的权重系数,神经网络权重取值范围
aifans_bert的博客
09-01 2384
针对这个权重的随机性不确定的缺点，有人提出了用遗传算法初始化BP的初始权重和阈值的想法，提出了遗传神经网络模型，并且有人预言下一代的神经网络将会是遗传神经网络。训练更新的权重一般而言是看不到的，但也可以通过可视化权重的方式实现中间变量的观察，不过这些权重有什么含义目前并不十分清楚。神经网络的基本原理是：每个神经元把最初的输入值乘以一定的权重，并加上其他输入到这个神经元里的值（并结合其他信息值），最后算出一个总和，再经过神经元的偏差调整，最后用激励函数把输出值标准化。神经网络的权值是通过对网络的训练得到的。.
神经网络层与层之间的权值矩阵W及偏置量
smellycat17的博客
10-19 8127
1.对于W，能把从激活函数得到的函数值线性映射到另一个维度空间上； 2.对于b，在其基础上再进一步的平移。 对于激活函数全是中心对称的函数（如tanh函数），权值矩阵不变，偏置量恒为零的情况，无论怎样进行训练，模型G在训练集D上的准确率都不可能达到100%。此时模型G所做的预测必定是 关于输入空间“中心对称”的，而如果引入偏置量的话，上述的对称性就会被打破。（来次《Python与机器学习实战》——...
Kerase获取和设置网络层的权值矩阵
我乐飞的技术博客
06-26 2695
keras提供了两个针对权值矩阵的网络层操作函数layer.get_weights(): 以Numpy矩阵的形式返回层的权重。layer.set_weights(weights): 从Numpy矩阵中设置层的权重（与get_weights的输出形状相同）假设激活函数为ReLu，网络层的权值矩阵形式是：array([[-0.1762507 ],[-0.81790984]], dtype=float3...
子矩阵权值和
kkjy_00的博客
06-04 742
牛客 华华送奕奕小礼物 链接：https://ac.nowcoder.com/acm/contest/894/B 来源：牛客网 题目描述 华华用数组a和数组b合成了矩阵c。其中a数组长度为n，b数组长度为m，c是n行m列的矩阵，且c[i][j]=a[i]*b[j]。定义矩阵的权值为矩阵中所有元素的和。然后他想把矩阵送给奕奕。然而他怕奕奕不喜欢。若矩阵的权值小于L,奕奕会讨厌它，因为奕奕不...
matlab在点内加入权值,matlab权值矩阵
weixin_33561350的博客
03-16 950
4、对角矩阵解耦仿真 4.1 在 simulink 中建立如下模型: 其中控制器采用 PID 控制器,对象模型和耦合作用均已给出,下面开始计算解耦矩阵: 4.2 MATLAB 代码: sym ......{1} 利用网络初始化复原网络权值和阀值 例子:利用 init 函数将网络输入的权值...('the kind of xiangliang') 仿真函数 在 matlab 中提供了 sim 函数,...
MATLAB·迪杰斯特拉(Dijkstra)算法-权值矩阵实现，运行的时候有问题，谁帮我看下哪里错了
weixin_42640980的博客
07-08 964
function [distance, path] = Dijk(w,start,aim)% w-权值矩阵，start-起点，aim-终点n=length(w);% 节点数D=w(start,:);visit=ones(1:n); visit(start)=0;parent =zeros(1,n);% 记录每个节点的上一个节点path=[];for i=1:n-1;    temp=[];    ...
神经网络java代码
最新发布
05-31
以下是一个简单的神经网络Java代码示例： ```java public class NeuralNetwork { private double[] input; // 输入层 private double[][][] weights; // 权重 private double[][] bias; // 偏置 private double[][] output; // 输出层 private int[] layerSizes; // 每层神经元数量 public NeuralNetwork(int... layerSizes) { this.layerSizes = layerSizes; this.weights = new double[layerSizes.length - 1][][]; this.bias = new double[layerSizes.length - 1][]; this.output = new double[layerSizes.length][]; this.input = new double[layerSizes[0]]; // 初始化权重和偏置 for (int i = 0; i < layerSizes.length - 1; i++) { weights[i] = new double[layerSizes[i + 1]][layerSizes[i]]; bias[i] = new double[layerSizes[i + 1]]; for (int j = 0; j < layerSizes[i + 1]; j++) { for (int k = 0; k < layerSizes[i]; k++) { weights[i][j][k] = Math.random() * 2 - 1; // 随机初始化权重 } bias[i][j] = Math.random() * 2 - 1; // 随机初始化偏置 } } // 初始化输出层 for (int i = 0; i < layerSizes.length; i++) { output[i] = new double[layerSizes[i]]; } } // 激活函数，这里使用sigmoid函数 private double sigmoid(double x) { return 1 / (1 + Math.exp(-x)); } // 前向传播 public double[] feedForward(double... input) { if (input.length != layerSizes[0]) { throw new IllegalArgumentException("输入层大小错误"); } this.input = input; for (int i = 0; i < layerSizes.length - 1; i++) { for (int j = 0; j < layerSizes[i + 1]; j++) { double sum = 0; for (int k = 0; k < layerSizes[i]; k++) { sum += weights[i][j][k] * input[k]; } sum += bias[i][j]; output[i + 1][j] = sigmoid(sum); } input = output[i + 1]; } return output[layerSizes.length - 1]; } // 训练网络 public void train(double[] input, double[] targetOutput, double learningRate) { if (input.length != layerSizes[0]) { throw new IllegalArgumentException("输入层大小错误"); } if (targetOutput.length != layerSizes[layerSizes.length - 1]) { throw new IllegalArgumentException("目标输出层大小错误"); } // 前向传播 feedForward(input); // 反向传播 double[][] delta = new double[layerSizes.length][]; for (int i = layerSizes.length - 1; i >= 1; i--) { delta[i] = new double[layerSizes[i]]; if (i == layerSizes.length - 1) { for (int j = 0; j < layerSizes[i]; j++) { delta[i][j] = (output[i][j] - targetOutput[j]) * output[i][j] * (1 - output[i][j]); } } else { for (int j = 0; j < layerSizes[i]; j++) { double sum = 0; for (int k = 0; k < layerSizes[i + 1]; k++) { sum += weights[i][k][j] * delta[i + 1][k]; } delta[i][j] = sum * output[i][j] * (1 - output[i][j]); } } } // 更新权重和偏置 for (int i = 0; i < layerSizes.length - 1; i++) { for (int j = 0; j < layerSizes[i + 1]; j++) { for (int k = 0; k < layerSizes[i]; k++) { weights[i][j][k] -= learningRate * delta[i + 1][j] * input[k]; } bias[i][j] -= learningRate * delta[i + 1][j]; } input = output[i + 1]; } } } ``` 这个神经网络有一个输入层，一个输出层和任意数量的隐藏层。可以使用`NeuralNetwork`类的构造函数指定每个层的神经元数量。`feedForward`方法将输入传递到网络并返回输出，`train`方法用于训练网络并更新权重和偏置。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值