自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(59)
  • 收藏
  • 关注

原创 BP神经网络

BP (Back Propagation) 神经网络是1986年由 Rumelhart 和 McClelland 为首的科学家提出的概念,是一种按照误差逆向传播算法训练的多层前馈神经网络,是应用最广泛的神经网络。,从输出层到隐含层,最后到输入层,依次调节隐含层到输出层的权重和偏置,输入层到隐含层的权重和偏置。,旨在最小化损失函数,从而对输入数据进行精确的分类或回归预测。输入层到隐藏层的权重,w隐藏层到输出层的权重。神经网络是一种多层前馈神经网络,它通过。,从输入层经过隐含层,最后到达输出层;

2024-06-25 20:28:41 449

原创 双向长短期记忆神经网络BiLSTM

网络,一个按照正向顺序处理输入序列,另一个按照反向顺序处理输入序列。遗忘门(forgetgate):决定上一个时间步的细胞状态对当前时间步的影响程度。输入门(input gate):决定当前时间步的输入信息对细胞状态的影响程度。隐藏状态(hiddenstate):当前时间步的输出,也是下一个时间步的输入。输出门(output gate):决定细胞状态对当前时间步的输出影响程度。输入门用来控制当前输入数据对记忆单元状态值的影响。LSTM 是一种特殊的 RNN,它通过引入。输出门用来控制记忆单元状态值的输出。

2024-06-25 20:10:25 777

原创 什么是云计算

将巨大的数据计算处理程序分解成无数个小程序,然后,通过多部服务器组成的系统进行处理和分析这些小程序得到结果并返回给用户。高性能并行计算。

2024-06-25 16:08:05 845

原创 计算机怎么进入安全模式

最近老是蓝屏------显示是REGISTRY_ERROR(注册表错误)----重启之后,根据界面提示,选择F1-F12中的一个建,我重启之后,按F8进不了安全模式。通过另一种方式进入,重启之后选择进入安全模式。

2024-06-25 10:49:49 194

原创 神经网络——数据预处理

方差缩放方法能够根据神经元的链接数量来自适应地调整初始化分布地方差,尽可能的保证每个神经元的输入和输出方差一致。

2024-06-24 15:25:33 523

原创 神经网络参数-----batch_size

在神经网络的训练过程中,一个非常直观的需要调整的超参数就是batch size。我们需要决定在一次训练中,要选取多少样本喂给神经网络,这个要选择的样本个数,就是batch size。batch size的。

2024-06-24 15:01:40 1153

原创 神经网络参数-----学习率(Learning Rate)

学习率是训练神经网络的重要超参数之一,它代表在每一次迭代中梯度向损失函数最优解移动的步长。在网络训练过程中,模型通过样本数据给出预测值,计算代价函数并通过反向传播来调整参数。可知道除了梯度本身,这两个因子直接决定了模型的权重更新,从优化本身来看它们是影响模型性能收敛最重要的参数。学习率直接影响模型的收敛状态,batchsize则影响模型的泛化性能,两者又是分子分母的直接关系,相互也可影响,因此这一次来详述它们对模型性能的影响。在训练过程中,一般根据训练轮数设置动态变化的学习率。根据上述公式我们可以看到。

2024-06-24 11:38:01 1376

原创 电脑开机后出现Aptio Setup Utility 处理方法

电脑开机后出现Aptio Setup Utility怎么处理

2024-06-21 12:25:21 1496

原创 基本循环神经网络(RNN)

在前馈神经网络中,信息的传递是单向的,这种限制虽然使得网络变得更容易学习,但在一定程度上也减弱了神经网络模型的能力。在生物神经网络中,神经元之间的连接关系要复杂的多。前馈神经网络可以看着是一个复杂的函数,每次输入都是独立的,。。比如一个有限状态自动机,其下一个时刻的状态(输出)不仅仅和当前输入相关,也和当前状态(上一个时刻的输出)相关。此外,前馈网络难以处理时序数据,比如视频、语音、文本等。。因此,当处理这一类和时序相关的问题时,就需要一种能力更强的模型。是一类具有短期记忆能力的神经网络。

2024-06-19 15:53:05 1184

原创 pytorch安装----CPU版本

激活环境开始下载pytorch。

2024-06-17 17:26:38 205

原创 神经网络 torch----使用GPU(cuda)

在训练过程中,要想利用我们的GPU,有两个基本要求。这些要求如下:默认情况下,在创建 PyTorch 张量或 PyTorch 神经网络模块时,会在 CPU 上初始化相应的数据。具体来说,这些数据存在于 CPU 的内存中。

2024-06-17 14:17:20 490

原创 scikit-learn安装

Sklearn安装要求Python(>=2.7 or >=3.3)、NumPy (>= 1.8.2)、SciPy (>= 0.13.3)。如果已经安装NumPy和SciPy,安装scikit-learn可以使用pip install -U scikit-learn。安装顺序:numpy/ scipy / matplotlib / scikit-learn。-U就是 --upgrade,意思是如果已安装就升级到最新版。

2024-06-17 13:41:07 258

原创 数据预处理——调整方差、标准化、归一化(Matlab、python)

(a)、将输入信号的方差调整在0.02;(b)、将数据标准化为具有零均值和单位方差;(c)、将输入数据进行归一化处理(最值归一化。

2024-06-13 17:13:11 454

原创 神经网络 torch.nn---nn.LSTM()

c_0 是shape=(num_layers*num_directions,batch_size,hidden_size)的张量, 保存着batch中每个元素的初始化细胞状态的Tensor。:长短时记忆网络层,它的主要作用是对输入序列进行处理,对序列中的每个元素进行编码并保存它们的状态,以便后续的处理。i_t, f_t, g_t, o_t分别代表 输入门,遗忘门,细胞和输出门。x_t是上一层的在时刻t的隐状态或者是第一层在时刻t的输入。:当前时间步的输出,也是下一个时间步的输入。c_t是时刻t的细胞状态,

2024-06-13 12:20:46 1531

原创 神经网络 torch.nn---nn.RNN()

的shape应该是[batch_size, time_step, feature],输出也是这样。默认是 False,就是这样形式,(seq(num_step), batch, input_dim),也就是将序列长度放在第一位,batch 放在第二位。x_t是上一层时刻t的隐状态,或者是第一层在时刻t的输入。weight_ih_l[k] – 第。weight_hh_l[k] – 第。bias_ih_l[k] – 第。bias_hh_l[k] – 第。偏置, 可学习,形状是。h_t是时刻t的隐状态。

2024-06-13 11:49:10 819

原创 MATLAB神经网络---trainingOptions

对梯度的一阶矩估计(First Moment Estimation,即梯度的均值)和二阶矩估计(Second Moment Estimation,即梯度的未中心化的方差)进行综合考虑,计算出更新步长。优化器结合了Adagrad善于处理稀疏梯度和RMSprop善于处理非平稳目标的优点,能够自动调整学习速率,收敛速度更快,在复杂网络中表现更优。8、'Verbose':如果将其设置为true,则有关训练进度的信息将被打印到命令窗口中。'none'不画出训练曲线。、更新的步长能够被限制在大致的范围内(初始学习率)

2024-06-13 10:17:20 554

原创 MATLAB神经网络---lstmLayer(LSTM 长短期记忆神经网络)

描述LSTM就要先描述一下循环神经网络循环神经网络循环神经网络通过使用带自反馈的神经元,使得网络的输出不仅和当前的输入有关,还和上一时刻的输出相关,于是在处理任意长度的时序数据时,就具有短期记忆能力。如下是一个按时间展开的循环神经网络图:梯度消失和梯度爆炸是困扰RNN模型训练的关键原因之一,产生梯度消失和梯度爆炸是由于RNN的权值矩阵循环相乘导致的,相同函数的多次组合会导致极端的非线性行为。梯度消失和梯度爆炸主要存在RNN中,因为RNN中每个时间片使用相同的权值矩阵。

2024-06-13 10:16:43 1528

原创 torch.squeeze() dim=1 dim=-1 dim=2

对数据的维度进行压缩将输入张量形状中的1 去除并返回。如果输入是形如(A×1×B×1×C×1×D),那么输出形状就为: (A×B×C×D)当给定dim时,那么挤压操作只在给定维度上。例如,输入形状为: (A×1×B), squeeze(input, 0) 将会保持张量不变,只有用 squeeze(input, 1),形状会变成 (A×B)。

2024-06-12 21:26:03 627 1

原创 MATLAB神经网络---序列输入层sequenceInputLayer

sequenceinputlayer是Matlab深度学习工具箱中的一个层,用于处理序列数据输入。它可以将输入数据转换为序列格式,并将其传递给下一层进行处理。该层通常用于处理文本、语音、时间序列等类型的数据。在使用该层时,可以设置输入序列的长度、特征维度等参数,以适应不同的数据类型和任务需求。

2024-06-12 11:33:37 790

原创 MATLAB神经网络---regressionLayer回归输出层

回归层计算回归任务的半均方误差损失。Matlab中的regressionLayer函数是一个深度学习工具箱中的函数,用于定义回归问题的损失函数层。它可用于神经网络模型的最后一层,将预测值与目标值进行比较,并计算出损失值。

2024-06-12 11:22:03 1177

原创 MATLAB神经网络---全连接层fullyConnectedLayer

的每一个结点都与上一层的所有结点相连,用来把前边提取到的特征综合起来。由于其全相连的特性,一般全连接层的参数也是最多的。在卷积神经网络的最后,往往会出现一两层全连接层,全连接一般会把卷积输出的二维特征图转化成一维的一个向量。,是深度学习神经网络中的一种基本层类型。全连接层的每个神经元都与前一层的所有神经元相连接,每个连接都有一个权重用于调节信息传递的强度,并且每个神经元还有一个偏置项。

2024-06-12 11:14:05 568

原创 MATLAB神经网络---激活层

修正线性单元 (ReLU) 层ReLU 层对输入的每个元素执行阈值运算,其中任何小于零的值都设置为零。此运算等效于。

2024-06-12 11:02:34 454

原创 神经网络搭建(2)

注意测试时用的模型是CPU还是GPU,前后保持一致。

2024-06-06 22:01:08 286

原创 神经网络搭建(1)----nn.Sequential

因此,之后通过第一个线性层,(in_features=64 * 4 * 4, out_features=64)之后使用Flatten。函数将图像展成一列,此时图像尺寸变为:1×(64×4×4),即1×1024。→ 变成32通道,16×16的图像 ( 经过一个5×5的卷积)→ 变成32通道,32×32的图像 (经过2×2的最大池化)→ 变成32通道,16×16的图像 (经过2×2的最大池化)→ 变成32通道,8×8的图像 ( 经过一个5×5的卷积)→ 变成64通道,8×8的图像(经过2×2的最大池化)

2024-06-06 21:48:00 618

原创 神经网络---网络模型的保存、加载

正确的调用格式需要复制原模型的类定义。在另一个文件加载该模型,会报错。模型加载(在另一个文件加载)

2024-06-06 21:14:17 402

原创 神经网络----现有网络的下载和使用(vgg16)

以下两种方法已经用不了。

2024-06-06 21:01:50 493

原创 神经网络 torch.nn---优化器的使用

可以求出神经网路中每个需要调节参数的梯度(grad),可以根据梯度进行调整,达到的作用。下面我们对优化器进行介绍。

2024-06-06 20:37:12 861

原创 神经网络 torch.nn---损失函数与反向传播

即我们可以以target为依据,不断训练神经网络,优化神经网络中各个模块,从而优化output。2、−x[class]:在已知图片类别的情况下,预测出来对应该类别的概率x[class]越高,其预测结果误差越小。输出结果为[0.1,0.2,0.3],该列表中的数字分别代表分类标签对应的概率。,每个结果概率都很高,这显然是不合理的。当我们进行反向传播的时候,对每一个节点的参数都会求出一个对应的。个元素对应的差值的绝对值求和,得出来的结果除以。的图片进行分类,其标签的索引分别为。的概率更大,即0.3。

2024-06-06 20:18:49 979

原创 神经网络 torch.nn---Linear Layers(nn.Linear)

torch.flatten更方便,可以直接把图像变成一行。torch.reshape功能更强大,可任意指定图像尺寸。以上两行代码都是将图像展开成一行。

2024-06-06 16:30:45 506

原创 神经网络 torch.nn---Non-Linear Activations 非线性激活层

如:input=-1,ReLU(input,implace=True),那么输出后,如:input=-1,ReLU(input,implace=True),那么输出后,,使其训练出一些符合各种曲线或各种特征的模型。换句话来说,如果模型都是直线特征的话,它的。inplace=True,则会自动。非线性变换的目的是为神经网络。inplace=True,则。

2024-06-06 16:04:59 474

原创 神经网络 torch.nn---Pooling layers(nn.MaxPool2d)

intortuple) - max pooling的窗口大小。用于设置一个取最大值的窗口,如设置为3,那么会生成一个3×3的窗口stride(intortupleoptional) - 默认值为kernel_size,步幅,和卷积层中的stride一样padding(intortupleoptional) - 填充图像,默认填充的值为0dilation(intortupleoptional) – 一个控制窗口中元素步幅的参数。空洞卷积,即卷积核之间的距离。

2024-06-06 14:26:34 1203

原创 神经网络 torch.nn---Containers

Containers(容器):神经网络的骨架Convolution Layers:卷积层Pooling layers:池化层Non-linear Activations:非线性激活Normalization Layers:正则化层Recurrent Layers:循环神经网络层。

2024-06-06 13:55:28 1282 2

原创 神经网络 torch.nn---Convolution Layers

torch.nn包含了torch.nn.functional,打个比方,torch.nn.functional相当于开车的时候齿轮的运转,torch.nn相当于把车里的齿轮都封装好了,为我们提供一个方向盘。padding的作用是在输入图像的左右两边进行填充,padding的值决定填充的大小有多大,它的输入形式为一个。输入一个5×5的图像,其中的数字代表在每个像素中的颜色显示。卷积核的步长,可以是单个数字或一个元组 (sh x sw)torch.nn是对torch.nn.functional的一个。

2024-06-06 11:50:19 1020

原创 深度学习——TensorBoard的使用

TensorBoard是一个可视化工具,它可以用来展示网络图、张量的指标变化、张量的分布情况等。特别是在训练网络的时候,我们可以设置不同的参数(比如:权重W、偏置B、卷积层数、全连接层数等),使用TensorBoader可以很直观的帮我们进行参数的选择。它通过运行一个本地服务器,来监听6006端口。在浏览器发出请求时,分析训练时记录的数据,绘制训练过程中的图像。是Google开发的一个机器学习可视化工具。记录损失变化、准确率变化等记录图片变化、语音变化、文本变化等。

2024-06-05 20:01:09 1353

原创 PyTorch 相关知识介绍

PyTorch的相关知识。1、PyTorch和TensorFlow。2、DataLoader和Dataset。3、TensorBoard可视化工具。torchvision。4、Transformer的使用。5、图像处理 PIL.6OpenCV

2024-06-05 14:53:57 1679

原创 cuda 11.6 pytorch安装

验证:输入nvcc --version 或者nvcc -V 进行检查。安装相应的CUDA 和CUDANN。

2024-05-27 12:17:34 1471

原创 01通信基础知识

数据传输速率、波特率(baud rate)、比特率(bit rate)信号带宽、带宽(bandwidth)、采样率:奈奎斯特定理(Nyquist's Theorem)和香农定理(Shannon's Theorem)

2023-03-09 14:21:13 2603 1

原创 储备池、神经网络、回声状态网络(ESN)和液态机(LSM)

储备池的简要概括。前馈神经网络(Feedforward neural networks,FNN)和递归神经网络(Recurrent neural networks,RNN)。回声状态网络(ESN)和液态机(LSM)的共同点和区别。

2023-01-07 18:22:29 2852

原创 python学习笔记--python QT

QT,GUI编程是什么?PyQt是什么?QtDesigner,PyUic,PyRcc的作用?

2022-10-03 11:34:45 762

原创 python基础知识二——json、数据可视化

json,Echarts。自己的学习笔记。。。

2022-09-30 23:45:00 2116

空空如也

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除