ML_05 CNN

最新推荐文章于 2021-09-05 17:22:53 发布
最新推荐文章于 2021-09-05 17:22:53 发布
阅读量99 收藏
点赞数
分类专栏： 机器学习 文章标签： CNN
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/w317672256/article/details/97469742
版权

卷积的公式

要逆转一下然后点乘

卷积后的图像大小

同时如果我们在mm大小的图像用nn的卷积核之后会得到（m+n-1）平方大小的图像

Faltung anschaulich

卷积后图像看上去确实没什么变化，会把重要特征都保留下来
缺少一个图

为什么要用CNN

用KNN的话就会需要很多的w
100个像素点的话每一个Neuron在第一层就会有100个w。50个Neuron的话就5000个w，而且不是每个图像点都有用
而且也有可能会有很多相似的特征

Pooling

Max Pooling
Mean Pooling

Faltung im Detail

RGB三层，用一个FILTER，也就是3层变1层

STRIDE

卷积层每次移动的步数
m=7，n=3
Stride 2
（7-3）/2+1=3

Padding

在输入图像四周补像素，用于重视图像边界，不过有可能增加图像不存在的特征

Dropout

减少Overfitting
每一次训练不训练全部neuron
作用：减少neuron之间的关联

Initialisierung der Gewichte

Random Initialiyation
Fixed Feature Extractor
Fine-Tuning von trainiertem Netz (meist frühe Schichten)
Pretrained Initialization von trainiertem Netz (nur Initialisierung

w317672256
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
[深度学习笔记][CNN/GCN]卷积神经网络基础
猎人伯爵
09-08 657
注：这是写给自己看的学习笔记，如有错误敬请指出。 1.卷积神经网络的结构 由四层构成，分别为：输入、卷积、池化、输出层。 2.卷积神经网络的形象理解 2.1卷积层的形象理解 卷积层的目的实际上是进行特征的提取。 在卷积层(convention layer)中，使用一个过滤器（kernel）去扫描一个图像，这个过滤器的参数是需要学习的。过滤器与图像进行卷积并滑动，会生成这个图像的特征映射(feature map)。 此处可以深究的问题是：如何选取合适的过滤器、如何确定过滤器的大小等。（书中.
卷积神经网络经过卷积/池化之后的图像尺寸及参数个数以及FLOPs
xiaohuihui1994的博客
10-25 7007
设输入图像尺寸为WW3，卷积核尺寸为F，步幅为S，Padding使用P,共有M个卷积核，则经过该卷积层后输出的图像尺寸为： (W-F+2P)/S + 1    *  &
matlab 矩阵卷积
qq_37312720的博客
11-14 9718
卷积的表达式： y(n)=x(n)*h(n)=sigma{x(m)h(n-m)} y(n)=x(n)*sigma{deta(n-m)} 对应信号系统的卷积冲激函数，系统的结果就是信号和其本身的线性移位 结果元素的个数，x(n)的长度是n,h(n)的长度是m,则结果的序列长度就是n+m-1 和信号处理的过程是一致的，任何一本信号处理的书都有详细的讲解 1.h(n)序列倒置->位移-&...
深度学习图像卷积后的尺寸计算公式
OliverkingLi的博客
08-28 7608
假设图像大小为N*N矩阵 卷积核的尺寸为K*K矩阵 卷积的方式（边缘像素填充方式）:P 卷积的步伐为S*S 那么经过一层这样的卷积后出来的图像为： 最后得到的输出即为N*N大小图像。这里mark一下，有时候会一时想不起来手推浪费时间。...
超详细的卷积后大小的计算公式
热门推荐
Mr_WHITE2的博客
01-07 3万+
计算公式定义 定义几个参数 输入图片大小 W×W 卷积核大小 F×F 步长 S padding的像素数 P 于是我们可以得出计算公式为： N = (W − F + 2P )/S+1 输出图片大小为 N×N 以resnet50为例，输入为[1,3,224,224]，其中1为batchsize，3为通道数，224为height和width。 经过第一层卷积后，其大小为[1,64,112,112] in_channels= 3//输入通道 out_channels= 64 //输出通道 nn.Conv2d(in_
图像卷积尺寸计算
weixin_34197488的博客
01-26 179
输入图像大小为：W*W 卷积核大小为：F*F stride步长大小为：S*S padding 大小为：P*P 卷积之后的尺寸为N*N N=(W-F+2P)/S+1 转载于:https://www.cnblogs.com/code-wangjun/p/10325141.html...
cnn-matching-master_cnnmatching_cnn图像匹配_matchingcnn_cnn-matching
03-25
这是一个有关于基于深度学习的图相匹配，采用深度学习的训练进行图像匹配训练
ML_Note
03-28
2021年Spring 介绍 DL由来，以及批处理那些定义。 深度学习 讲解该如何条参数，什么时候是优化或过度拟合... CNN和自我关注 阿斯 2020年Spring 自适应学习率：随着每次gd（梯度下降）后去更改lr（学习率）。 阿达格勒
ML_9月机器学习在线班 20.CNN&RNN.mp4
03-27
ML_9月机器学习在线班 20.CNN&RNN.mp4
ML_collage_detection:咕
03-16
一，引言 collage_detection是一个人工智能项目，由... 最近，有几种基于CNN的学习技术可以有效解决这一类似问题。 在此仓库中，我们基于论文“ Learning Rich Features for Image Manipulation Detection ”实现了一
ml_playground:机器学习项目集合
05-04
机器学习游乐场 用于学习新概念的项目的集合。 这些模型在PyTorch中实现。 结构 计算机视觉 图片分类进行二进制/多类分类。 楷模实现SOTA卷积神经网络。... 量化量化CNN模型。 修剪修剪CNN模型。
如何计算卷积后的图像尺寸
biubiusion的博客
04-08 5283
N = (W - F + 2*P)/S+ 1 其中： N：输出图像的尺寸N*N； W：输入图像的尺寸W*W； F：卷积核（filter）的边长F*F； S：卷积的步长(stride)； P：padding大小； 若想通过设置padding保证卷积前后图像大小不变，可令 N = W，解出 p（即padding = (W+1)/2 向上取整即可）； ...
ML算法（四）——CNN原理
qq_54627325的博客
09-05 330
卷积神经网络应用领域包括检测任务、分类与检索、超分辨率重构、医学任务、无人驾驶、人脸识别等。 卷积网络与传统网络的区别： CNN新增了卷积层和池化层，连接顺序是"卷积层-RELU-（池化层）" 全连接，Affine层跟着激活函数RELU层或SIGMOID层，最后由Softmax层输出最终结果概率 整体架构：输入层、卷积层、池化层、全连接层 输入层（input layer）： 1.数据预处理 2.常见预处理方式：a.数据标准化，将数据按比例缩放，常用的方法是Z-Score标准化，用...
CNN(卷积神经网络)概述
亮亮的博客
11-07 2万+
过去几年，深度学习（Deep learning）在解决诸如视觉识别(visual recognition)、语音识别(speech recognition)和自然语言处理(natural language processing)等很多问题方面都表现出非常好的性能。在不同类型的深度神经网络当中，卷积神经网络是得到最深入研究的。早期由于缺乏训练数据和计算能力，要在不产生过拟合(overfitting)
DL ML CNN 相关的经验之谈
oPerform的专栏
03-04 493
1，CNN：目前最合适的卷积层数：20～25层 http://vlg.cs.dartmouth.edu/c3d/ https://www.microsoft.com/en-us/research/publication/msr-vtt-a-large-video-description-dataset-for-bridging-video-and-language/?from=http%3A%...
【李宏毅ML笔记】19 CNN
wffzxyl的博客
03-06 1261
CNN常被用于影像处理上，也可以用一般的Network来处理影像。输入为图像转换而来的pixcel，输出可能为1000个类别，每一个neuro可以看做是一个classifier，层层进一步的判断当前是否是某种线条，纹理，图像片段等等，来做识别。问题：当使用fully connected Network时，总会需要太多的参数。如100*100，彩色图像会有100*100*3个维度的图像，假设第一层h...
C#读取WinCC实时和归档数据
06-21
如何在 C#应用程序中读取 WinCC 变量归档数据，资源来自西门子官网
解放鼠标右键 chrome edge 浏览器 插件
最新发布
06-21
解放鼠标右键 chrome edge 浏览器 插件 开启开发者模式,拖入扩展管理即可使用
CNN做时间序列预测_使用Keras实现CNN+BiLSTM+Attention的多维(多变量)时间序列预测
05-16
本文将介绍如何使用Keras实现CNN+BiLSTM+Attention的多维(多变量)时间序列预测。我们将使用一个包含多个变量的数据集，其中每个变量都是时间序列。我们将使用CNN来提取每个变量的特征，使用BiLSTM来捕捉时序信息，并使用Attention机制来加强对重要特征的关注。 ## 数据集 我们将使用一个包含12个变量的数据集，该数据集描述了美国一家电力公司的一年内的电力消费情况。其中每个变量都是时间序列。我们将使用前11个变量来预测第12个变量，即电力消费。数据集可以从以下链接下载： https://archive.ics.uci.edu/ml/datasets/ElectricityLoadDiagrams20112014 在这个数据集中，我们有321个时间点，每个时间点包含12个变量。我们将使用前300个时间点作为训练集，后21个时间点作为测试集。 ## 数据预处理 首先，我们需要将数据加载到内存中，并将其分为训练集和测试集。我们还需要对数据进行标准化处理，使其在0到1之间。 ```python import pandas as pd import numpy as np from sklearn.preprocessing import MinMaxScaler data = pd.read_csv('LD2011_2014.csv', parse_dates=[0], index_col=0) train_data = data.iloc[:300, :] test_data = data.iloc[300:, :] scaler = MinMaxScaler() train_data = scaler.fit_transform(train_data) test_data = scaler.transform(test_data) ``` 接下来，我们需要将数据转换为可以输入到CNN模型中的格式。我们将使用一个滑动窗口来生成输入序列和输出序列。在这个例子中，我们将使用5个时间点的历史数据来预测下一个时间点的电力消费。我们将使用一个变量来预测另一个变量，因此我们需要为每个变量生成一个输入序列和一个输出序列。最终，我们将得到一个形状为(295, 5, 1, 11)的训练集输入张量，其中295是输入序列的数量，5是序列长度，1是每个时间点的特征数量（我们只使用一个变量），11是总共的变量数量。 ```python def create_dataset(data, look_back): X, y = [], [] for i in range(len(data) - look_back - 1): X.append(data[i:(i + look_back), :, :]) y.append(data[i + look_back, :, 10]) return np.array(X), np.array(y) look_back = 5 trainX, trainY = create_dataset(train_data, look_back) testX, testY = create_dataset(test_data, look_back) ``` ## 模型构建 我们将使用Keras构建模型。我们将使用一个具有多个输入和输出的函数式API。我们将使用一个CNN层来提取每个变量的特征，然后使用一个BiLSTM层来捕捉时序信息。最后，我们将使用一个Attention层来加强对重要特征的关注。 ```python from keras.layers import Input, Dense, Conv2D, MaxPooling2D, Flatten, LSTM, Bidirectional, concatenate, Reshape, Permute, Multiply from keras.models import Model inputs = [] outputs = [] for i in range(11): input_i = Input(shape=(look_back, 1, 1)) inputs.append(input_i) conv1_i = Conv2D(filters=32, kernel_size=(3, 1), activation='relu')(input_i) conv2_i = Conv2D(filters=32, kernel_size=(3, 1), activation='relu')(conv1_i) pool_i = MaxPooling2D(pool_size=(2, 1))(conv2_i) flat_i = Flatten()(pool_i) outputs.append(flat_i) merged = concatenate(outputs) reshape = Reshape((11, -1))(merged) permute = Permute((2, 1))(reshape) attention_probs = Dense(11, activation='softmax', name='attention_probs')(permute) attention_mul = Multiply()([reshape, attention_probs]) lstm = Bidirectional(LSTM(units=64, return_sequences=False))(attention_mul) output = Dense(units=1)(lstm) model = Model(inputs=inputs, outputs=output) model.compile(loss='mean_squared_error', optimizer='adam') ``` ## 模型训练 我们将使用模型拟合训练集，并在测试集上评估模型性能。 ```python model.fit([trainX[:, :, :, i] for i in range(11)], trainY, epochs=50, batch_size=32, verbose=2) testPredict = model.predict([testX[:, :, :, i] for i in range(11)]) testPredict = scaler.inverse_transform(testPredict) testY = scaler.inverse_transform(testY) rmse = np.sqrt(np.mean((testPredict - testY) ** 2)) print('Test RMSE: %.3f' % rmse) ``` ## 结论 在这篇文章中，我们介绍了如何使用Keras实现CNN+BiLSTM+Attention的多维(多变量)时间序列预测。我们使用一个包含多个变量的数据集，其中每个变量都是时间序列。我们使用CNN来提取每个变量的特征，使用BiLSTM来捕捉时序信息，并使用Attention机制来加强对重要特征的关注。最终，在测试集上，我们得到了一个RMSE为0.038的模型，说明我们的模型能够很好地预测电力消费。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值