Together_CZ的博客

在时间序列相关的很多建模工作中，LSTM模型是经常会使用到的，从提出到现在LSTM模型已经有了很多的扩展、变种和应用，今天我们简单地实现基于LSTM模型来对多个变量的数据进行建模预测，在简单地预测中只能做单步预测，这里实现了多步的预测分析。 具体实现如下：#!usr/bin/env python#encoding:utf-8from __future__ i...

基于长短期记忆神经网络LSTM的多步长多变量时间序列预测 长短时记忆网络(LSTM)是一种能够学习和预测长序列的递归神经网络。LSTMs除了学习长序列外，还可以学习一次多步预测，这对于时间序列的预测非常有用。LSTMs的一个困难在于，它们可能难以配置，而且需要大量的准备工作才能获得适合学习的格式的数据。 在本教程中，您将了解如何使用Keras在Python中开...

本文翻译自大神【Jason Brownlee】的实战教程《How to Develop LSTM Models for Time Series Forecasting》。 长短期记忆网络或简称LSTM可以用于时间序列预测。 有很多类型的LSTM模型可用于每种特定类型的时间序列预测问题。 在本教程中，您将发现如何为一系列标准时间序列预测问题开...

基于深度学习的图标型验证码识别系统（包含完整代码、界面）

还记得吧，我在前面修改了作者默认的结果权重命名格式，为的就是在Linux环境下也好在windows环境下也好能够自然按照epoch的迭代序号排序，作者之前的命名格式是没法很方便的按照这个排序的，比如我设定了1000次的迭代计算，当我想要下载模型的时候你可能并不好很快的就找到想要的文件，按照我这种命名格式的话就会很方便了，这个看你自己的具体需要了。作者也给出来了train/test的操作说明，感兴趣的话可以去README里面看看，我这里就不再过多的介绍了，直接开始自己的实践。......

不得不说YOLOv5的作者真的是强，更新的频率也是真的很高了，就在前天刚刚发布了最新版本的YOLOv5模型，分支命名为YOLOv5-6.2，与上一版本6.1不同的是这次6.2最大的更新内容是他集成整合进来了基于YOLOv5模型实现的分类也就是图像识别模型，从这一点不难窥探出来：YOLOv5模型未来的适用领域一定会越来越广，诸如：图像分割、实例分割等CV领域内的经典任务一定会被陆陆续续整合进入YOLOv5仓库内的，满怀期待了。不过这里不是重点关注的点，主要是完整实践整个建模过程。...

今天在做行为识别的东西，这个行为识别是基于传感器设备数据的行为识别，而不是基于CV图像的行为识别，UCI是一个宝库，里面有很多的数据集，行为数据也不厉害，宝包括：WISDM、HAR等，网上也有很多基于这两个数据集的开源项目。我之前也基于这两个数据集做过相关的建模，这里就不再多介绍了，今天主要是要基于另一个用的不多的行为数据集来做分析，这个主要是老年人穿戴设备采集到的数据，对于穿戴者的行为状态进行识别，主要有：- 坐在床上- 坐在椅子上- 躺在床上- 走动，其中走动包括站立、在房间...

同事今天给我一个小工具，据说是很好用，可以很方便地绘制基础的示意性的神经网络结构图，之前这种类型的网络结构图我大都是使用绘图软件，比如：ppt、visio之类的，现在可以使用脚本实现了，先来看下吧。 轻松拿捏了，不过也是有缺点的，当隐藏层单元数量太大的时候就会堆成一坨了，如下所示： 实测隐藏层单元数最多不要超过32，否则就会堆叠重叠了影响绘制效果，16的话还是可以的，如下所示： 看了这么多的效果图有没有心动？ ...

时序数据建模分析已经有很多相关的应用了，在这个领域里面LSTM网络绝对是占据着非常重要的作用，自从LSTM网络提出以来，陆陆续续又出现了很多相关的变种网络，传统的时序建模工作主要是基于一个指定的时序数据集进行模型的构建与预测分析的，但是在实际的工程使用中会有一种特殊的情况就是：我们通过实验所采集到的数据集往往不是绝对连续的而是多“片段”的。 何为 “片段”？以我之前的时序建模相关的文章来讲，诸如：气象数据预测、风力发电数据预测等等，都是具有一定数据规模的数据进行时序预测模型的构建，...

文本分词、词性标注和命名实体识别都是自然语言处理领域里面很基础的任务，他们的精度决定了下游任务的精度，其实在这之前我并没有真正意义上接触过命名实体识别这项工作，虽然说读研期间断断续续也参与了这样的项目，但是毕业之后始终觉得一知半解的感觉，最近想重新捡起来，以实践为学习的主要手段来比较系统地对命名实体识别这类任务进行理解、学习和实践应用。 当今的各个应用里面几乎不会说哪个任务会没有深度学习的影子，很多子任务的发展历程都是惊人的相似，最初大部分的研究和应用都是集中在机器学习领域里面，...

文本分词、词性标注和命名实体识别都是自然语言处理领域里面很基础的任务，他们的精度决定了下游任务的精度，其实在这之前我并没有真正意义上接触过命名实体识别这项工作，虽然说读研期间断断续续也参与了这样的项目，但是毕业之后始终觉得一知半解的感觉，最近想重新捡起来，以实践为学习的主要手段来比较系统地对命名实体识别这类任务进行理解、学习和实践应用。 对于我个人来说学习一个新的东西，比较喜欢实践为主去学习，因为最开始接触机器学习的时候都是从空洞的理论开始的，后来学了好久发现，这些理论知识的学习固然...

深度学习实验大多是在服务器端进行的，在实际的应用中，想要把训练好的模型投入实际的应用中去的时候往往需要转化为适应于边缘端或者是移动端计算的格式，一是缩减模型大小降低原有的参数体量，二是借助于硬件环境的加速能力，提升模型的推理速度，总之就是为了能够在板子上跑的更快点。 在实际的开发实践中，我们选择使用的是RK3399Pro这个型号的板子，提供了NPU级别的硬件加速计算能力，官方的文档地址在这里，首页截图如下所示： 这里是官方给出来的云计算和边缘计算的简单对比说明：云计...

分类相关的任务做过很多，包括：图像分类、文本分类，但是基于深度学习的文本分类相关的实践却不多，大多是基于word2vec+机器学习模型完成的文本分类任务，最近正好用到了Attention机制，就在学习和实践相关的内容，这里就是今天自己学习实践的基于深度学习模型+Attention机制的文本分类任务。 这里的数据集选用的是Keras内置的IMDB数据集，下面我们先来简单看一些Keras内置数据集的相关介绍，官方文档截图如下所示： 我们用的是红框里面标出来的数据集，...

人体行为识别可以被直接建模为图像识别任务，我们可以借助于CNN模型来实现我们的需求，图像本质上来说是二维的矩阵数据，CNN神经网络模型非常适合用于处理和计算这种类型的数据，对于一维的数据，同样可以基于CNN模型来实现，同时也是可以基于机器学习模型来进行实现的。 今天找到一个很有意思的数据集——人体行为姿势数据集WISDM，这个数据集中一共有36个人，每个人都会有6种动作，如下所示：{'Sitting':0,'Downstairs':1,'Standing':2,'Walking'...

在我之前的文章中，已经对LSTM的实际应用有过很多的实践和说明了，今天介绍的LSTM模型跟之前的不同，在以往的时序数据建模中，我们的输入端是只有一个的，也就是说入口处只有“单条通路”，本文提及的两路LSTM，是在输入端就要两个输入，所以称之为两路共享的LSTM模型，话不多说这里先来看下简单的模型结构，如下所示： 从上面的模型结构图中可以很清晰地看到：入口处有两个维度的数据输入，之后一同进入到LSTM模型中，这里我们为了简单起见，也是为了降低计算量，毕竟深度学习模型是比较耗费资源的...

在我之前的文章中，没有或者是很少有涉及到Attention机制的使用，因为之前做的很多工作中也不需要用到这个技术，周末正好有点时间就想学一下这个Attention机制，看看到底怎么样去结合使用，怎么样能够提升我们原有模型的性能。 当我们人在看一样东西的时候，我们当前时刻关注的一定是我们当前正在看的这样东西的某一地方，换句话说，当我们目光移到别处时，注意力随着目光的移动也在转移，这意味着，当人们注意到某个目标或某个场景时，该目标内部以及该场景内每一处空间位置上的注意力分布是不一样的。...

聊天机器人是非常常见而广泛的应用，很多企业都有很多机器人客服的需求，比如：移动、电信、联通、淘宝、京东等等，聊天机器人的本质就是文本数据处理，我的主要研究方向并不是文本处理相关的，但是断断续续学习、工作中接触到了一定的文本数据处理的任务，对文本数据处理也算得上是有一定的了解程度吧。 聊天机器人的应用可以简单理解为“输入一句话，机器返回一句响应的话”，返回的话跟你的话或者是问题相关度比较高，让你察觉不到是在跟一台机器聊天，这里模型需要能够比较确切地了解或者是解读清楚你输入的文本数据，然...

周末的时间闲下来了，想到之前计划的事情还未执行的还有很多，正好拿过来做一下，今天主要是想学习和实践一下信号领域的数据的处理和建模内容，从网上找到了一个振动信号相关的数据集，首先，想先基于EMD算法完成信号的 分解处理，之后基于LSTM模型来实现时序数据的建模预测分析。 对于现在的我来说，属于数据信号处理领域里面的小白，所以写这篇文章很可能会有错误或者是不合理的地方，如果问题欢迎指出，欢迎交流学习，同时呢？这里也是自己学习过程的记录，包括自己在了解一些信号处理算法时的资料等，也都一...

卷积神经网络CNN如今早已是深度学习的核心，广泛应用于各类任务中，在我以往的图像数据处理中大多接触的是比较具体的图像数据，比如：手写数字、手写字母、人脸数据、动物数据、交通信号数据等等，对于遥感或者是卫星相关的数据涉及得很少很少，今天找到了一个比较有意思的数据集【MSTAR高分辨率图像数据集】，想基于这个数据集来构建一下自己的卷积神经网络模型做一点实践。 首先，查阅了一些相关的研究文献资料，简单介绍一下【MSTAR高分辨率图像数据集】 当前用于研究SAR ATR 的图像...

一般来说，想要搭建自己的深度学习模型来对自己的图像数据做处理往往是需要准备很多数据才行的，不然模型性能是很差的，之前也做过一些人脸识别的应用实践，但大都是需要自己去采集自身的人脸图像数据，这个就比较主观了，因为你可以采集的很多很多人脸图像数据，或者也可以采集的很少，但是很少的话一般效果都不会太好。今天找到一个很有意思的数据集，是我目前接触到的人脸识别领域中最为迷你的数据集，为什么说它“迷你”呢？主要有两个原因：1、种类很多，一共包含有40个人的图像数据2、单个人的图像数据很少只有10张，这...

手写数字识别作为一个深度学习类入门级别的应用，被广大爱好者所使用，在实际的工作中正好有一个实际的场景需求用到了数字和字母的识别，这里先以手写数字识别为例来对该类型的任务进行讲解。 本文的实践主要是基于卷积神经网络来进行的，卷积神经网络作为如今深度学习的核心自然有它独特的地方。 卷积神经网络的提出是受生物自然视觉认知机制的启发，它的核心在于其采用了卷积层和子采样层组合的特征提取方式。CNN一共采用了三种技术来降低模型的计算复杂度。1）局部感受野 首先是...

在值预测相关的任务里面回归模型使用的非常得多，从最简单的逻辑回归模型到复杂点的集成回归模型，可以根据具体任务的适用程度来尝试或者决定使用什么样的模型来构建自己的预测模型。 本文主要是基于APP采集到的行走数据，也就是地理空间里面的经纬度数据来对未来位置进行预测分析，我们这里主要是将行走的数据建模成了一个时序数据分析问题，因为物体的移动轨迹不会是随机移动的是随着时间推移，有规...

本文是该专栏【迁移学习】系列文章的第三篇文章，主要是实现基于迁移学习的手势识别，个人感觉还是很有意思的一件事情吧，下面是系列文章中的一些基础知识。 迁移学习是一种很强大的深度学习技术，在实际应用中解决图像分类等问题中效果卓越，用一句简单的话来说就是“站在巨人的肩膀山学习”，大多数针对图像分类任务而开源出来的迁移学习模型很多都是基于ImageNet数据集开...

异常点或者是异常值检测算法是机器学习领域中很重要的一个分支，有效地挖掘出来数据中的异常值对于建模分析等工作来说是很重要的，异常点的检测算法也有很多，主要分为以下几种：异常检测的方法：（1）基于模型的技术：首先建立一个数据模型，异常是那些同模型不能完美拟合的对象；如果模型是簇的集合，则异常是不显著属于任何簇的对象；在使用回归模型时，异常是相对远离预测值的对象。（2）基于邻近...

声明： 本博客中的VIP系列博客内容严禁转载，未经允许不得以任何形式进行传播，违者追究侵权责任！ 本文主要是基于LSTM（Long Short-Term Memory）长短期记忆神经网络来实践多变量序列预测，并完成对未来指定步长时刻数据的预测、分析和可视化，，手把手教你去搭建属于自己的预测分析模型。本文主要分为：LSTM模型简介、数据探索...

在实际生活中，时序序列数据是很常见的一类数据，回归模型、神经网络模型都可以用于构建时间序列数据的预测模型，基于机器学习回归模型的时序数据预测模型构建在我之前的文章中已经提及了这里就不再进行说明了，基于深度神经网络模型DNN的时序数据预测模型相对于LSTM网络结构而言更为简单，今天不做说明，本文主要是结合LSTM网络模型来构建时序数据的预测模型，实践一下时间序列预测。 这里首先...

时序数据建模分析已经有很多相关的应用了，在这个领域里面LSTM网络绝对是占据着非常重要的作用，自从LSTM网络提出以来，陆陆续续又出现了很多相关的变种网络，今天从网上找到了一份环境气象领域相关的数据集，可以用于时序数据的建模分析，这里就基于这个数据集来实战双向LSTM网络的时序建模。 这是一张比较形象比较简单的示意图： 双向，顾名思义理解起来也很简单...

迁移学习是一种很强大的深度学习技术，在实际应用中解决图像分类等问题中效果卓越，用一句简单的话来说就是“站在巨人的肩膀山学习”，大多数针对图像分类任务而开源出来的迁移学习模型很多都是基于ImageNet数据集开发的，这些预训练的模型往往都是那些谷歌、亚马逊等大厂耗费大量的计算资源训练几周的时间跑出来的模型，在图像的特征提取计算上都有着非常不错的性能，以至于对于我们...

笔者三年多的从业经历里面积累很多关于时序数据建模预测的经验，因为工作性质的原因，接触到的较多的数据类型均为时序数据，在处理这种类型数据的时候会较多使用到回归模型、RNN或者是LSTM模型，所以本文主要基于以往的实践经验来分享一些时序户数建模领域里面的常用做法。 既然说到了LSTM，就要简单的介绍一下RNN（Recurrent Neural Network，RNN）循...

深度学习应用于图像处理领域应该说有很长一段时间了，相关的研究成果也有很多的积累了，从项目和实践入手是我觉得的最好最快速有效的学习手段，之前有过实际的验证码识别项目，今天正好有时间就想着把之前做的项目以另外的一种形式展现出来，这里没有直接选用我已经上线的项目作为讲解的对象，而是另外找了一个数据网站，对其验证码进行研究后，从零开始搭建自己的识别模型，主要就是：总结-实践-学习-收获。...

在实际的工作中，时序类数据建模分析是比较重要的一部分，我们可以采用机器学习来构建一般的回归模型来进行值预测分析，也可以基于神经网络来搭建网络模型来完成时序数据预测分析，在较为简单的任务中，使用机器学习来构建回归模型一般是可以满足需要的，但是当实际面对的问题相对复杂的时候，简单的模型往往就难以胜任了，这里就需要更加高效，更具有表达能力的模型来完成这一工作，LSTM这一类模型就是其中的佼...

迁移学习是一种很强大的深度学习技术，在实际应用中解决图像分类等问题中效果卓越，用一句简单的话来说就是“站在巨人的肩膀山学习”，大多数针对图像分类任务而开源出来的迁移学习模型很多都是基于ImageNet数据集开发的，这些预训练的模型往往都是那些谷歌、亚马逊等大厂耗费大量的计算资源训练几周的时间跑出来的模型，在图像的特征提取计算上都有着非常不错的性能，以至于对于我们【小批量数据+简单神经...