![](https://img-blog.csdnimg.cn/20201014180756916.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
机器学习算法研究
文章平均质量分 65
一些经典的机器学习算法研究和实战应用分析
nsq_ai
这个作者很懒,什么都没留下…
展开
-
pytorch 0-1二分类简化版
pytorch 编写简单版的0-1 二分类问题,作为学习基础。原创 2024-01-24 15:51:21 · 460 阅读 · 0 评论 -
model introduction
文本分类方法模型主要分为两个大类,一类是传统的机器学习方法(具体可以再分为四类),另一类是新兴的深度学习模型。由于每个算法其实都非常复杂,在此仅做简单介绍,建议需要使用时一定要再深入学习理解。从 1961 到 2020 文本分类算法的发展历史图上黄色代表浅层学习模型,绿色代表深层学习模型。可以看到,从 1960 年代到 2010 年代,基于浅层学习的文本分类模型占主导地位。自 2010 年代以来,文本分类已逐渐从浅层学习模型变为深层学习模型。原创 2024-01-16 10:38:05 · 843 阅读 · 0 评论 -
text expressing
文本是一种非结构化的数据信息,是不可以直接被计算的。文本表示的作用就是将这些非结构化的信息转化为计算机可以理解的结构化的信息 ,这样就可以针对文本信息做计算,来完成后面的任务。在向量空间模型中,文本可以选择字、词组、短语、甚至“概念”等多种元素表示。这些元素用来表征文本的性质,区别文本的属性,因此这些元素可以被称为文本的特征。在文本数据集上一般含有数万甚至数十万个不同的词组,如此庞大的词组构成的向量规模惊人,计算机运算非常困难。进行特征选择,对文本分类具有重要的意义。原创 2024-01-16 10:27:07 · 835 阅读 · 0 评论 -
text preprocessing
一般情况下,文本分类的主要流程如下:采用与处理的原因:解决特征空间高维性、特征分布稀疏和语义相关性。原创 2024-01-16 10:23:09 · 933 阅读 · 0 评论 -
text classification 简介
后来伴随着统计学习方法的发展,特别是 90 年代后互联网在线文本数量增长和机器学习学科的兴起,逐渐形成了一套解决大规模文本分类问题的经典做法,也即特征工程 + 浅层分类模型。深度学习模型是大数据喂出来的,输入的信息越多,DNN 的性能就越好。文本分类最初是通过专家规则进行分类,利用知识工程建立专家系统,这样做的好处是比较直观地解决了问题,但费时费力,覆盖的范围和准确率都有限。特定领域的文本(例如金融和医学文本)包含许多特定的单词或领域专家,可理解的语,缩写等,这使现有的预训练单词向量难以使用。原创 2024-01-16 10:17:07 · 1459 阅读 · 0 评论 -
python小波分解wavelet去噪重构
采用小波分解方式对数据进行分解,然后重构,演示整体代码。原创 2023-05-25 19:31:40 · 742 阅读 · 0 评论 -
tcn时空卷积神经网络数据预测
本文主要是时空卷积神经网络(Temporal convolutional network,TCN)进行时序数据分析,预测使用tcn对数据进行预测,可以和lstm等模型进行比较分析tcn也可以进一步优化参数。原创 2023-05-21 16:26:00 · 1278 阅读 · 1 评论 -
LSTM预测汇率涨跌分析
本文主要是采用lstm对汇率涨跌进行预测,是一个二分类的预测问题。原创 2023-05-21 15:58:50 · 541 阅读 · 1 评论 -
PyTorch LSTM单步预测
LSTM 航空乘客预测单步预测的两种情况。简单运用LSTM 模型进行预测分析。加入注意力机制的LSTM 对航空乘客预测采用了目前市面上比较流行的注意力机制,将两者进行结合预测。多层 LSTM 对航空乘客预测简单运用多层的LSTM 模型进行预测分析。双向LSTM 对航空乘客预测双向LSTM网络对其进行预测。MLP多层感知器 对航空乘客预测简化版使用MLP 对航空乘客预测CNN + LSTM 航空乘客预测采用的CNN + LSTM网络对其进行预测。ConvLSTM 航空乘客预测。原创 2023-04-13 23:01:04 · 704 阅读 · 0 评论 -
粒子群算法PSO优化LSTM超参数
LSTM 航空乘客预测单步预测的两种情况。简单运用LSTM 模型进行预测分析。加入注意力机制的LSTM 对航空乘客预测采用了目前市面上比较流行的注意力机制,将两者进行结合预测。多层 LSTM 对航空乘客预测简单运用多层的LSTM 模型进行预测分析。双向LSTM 对航空乘客预测双向LSTM网络对其进行预测。MLP多层感知器 对航空乘客预测简化版使用MLP 对航空乘客预测CNN + LSTM 航空乘客预测采用的CNN + LSTM网络对其进行预测。ConvLSTM 航空乘客预测。原创 2023-04-09 22:30:40 · 2085 阅读 · 0 评论 -
蚁群算法ACO优化LSTM超参数
LSTM 航空乘客预测单步预测的两种情况。简单运用LSTM 模型进行预测分析。加入注意力机制的LSTM 对航空乘客预测采用了目前市面上比较流行的注意力机制,将两者进行结合预测。多层 LSTM 对航空乘客预测简单运用多层的LSTM 模型进行预测分析。双向LSTM 对航空乘客预测双向LSTM网络对其进行预测。MLP多层感知器 对航空乘客预测简化版使用MLP 对航空乘客预测CNN + LSTM 航空乘客预测采用的CNN + LSTM网络对其进行预测。ConvLSTM 航空乘客预测。原创 2023-04-09 22:17:38 · 1415 阅读 · 1 评论 -
麻雀算法SSA优化SVR
采用麻雀算法SSA优化SVR,寻找最佳参数。原创 2023-03-07 08:44:21 · 421 阅读 · 1 评论 -
麻雀算法SSA优化AdaBoost
采用麻雀算法SSA优化AdaBoost,寻找最佳参数。原创 2023-03-07 08:41:57 · 183 阅读 · 0 评论 -
麻雀算法SSA优化LSTM超参数
LSTM 航空乘客预测单步预测的两种情况。简单运用LSTM 模型进行预测分析。加入注意力机制的LSTM 对航空乘客预测采用了目前市面上比较流行的注意力机制,将两者进行结合预测。多层 LSTM 对航空乘客预测简单运用多层的LSTM 模型进行预测分析。双向LSTM 对航空乘客预测双向LSTM网络对其进行预测。MLP多层感知器 对航空乘客预测简化版使用MLP 对航空乘客预测CNN + LSTM 航空乘客预测采用的CNN + LSTM网络对其进行预测。ConvLSTM 航空乘客预测。原创 2023-03-07 08:32:03 · 5294 阅读 · 16 评论 -
数字信号处理技术(一)经验模态分解(EMD)- Python代码
目前的研究方向是时间序列数据预测,采用的数据都是时间序列数据,本次实验的数据集是海浪高度数据信息,没有进行数据的预处理,实验可能会出现一些意想不到的结果,每个人根据自己的研究方向加以修改即可。首先,确定数据集中的数据形式;其次,找到相关的代码模型,进行调试;接着,将你的数据集输入到模型中,进行实验;最后,根据实验结果进行相关分析。原创 2021-05-18 23:27:14 · 9255 阅读 · 124 评论 -
数字信号处理技术(二)变分模态分解(VMD)-Python代码
研究方向是时间序列数据预测,采用的数据都是时间序列数据,本次实验的数据集是海浪高度数据信息。VMD可以很好的解决EMD 中出现的模态混叠现象,所以现在很多研究方向转向了VMD,利用其优点和其他的模型进行结合使用。VMD的子序列个数的选择,有些是根据模态混叠现象,有些是进行迭代寻优,有些是自己指定个数等等方式。原创 2021-05-18 23:31:00 · 28081 阅读 · 281 评论 -
01、前言
在每个特定时间点,agent从环境接收一些观察(observation),并且必须选择一个动作(action),然后通过某种机制(有时称为执行器)将其传输回环境,最后agent从环境中获得奖励(reward)。举个例子,人们在技术博客上贴的标签,比如“机器学习”、“技术”、“小工具”、“编程语言”、“Linux”、“云计算”、“AWS”。最近在深度学习方面取得的许多进展,大都是由廉价传感器和互联网规模应用所产生的大量数据,以及(通过GPU)算力的突破来触发的。们必须考虑到它的行为可能会影响未来的观察结果。原创 2022-09-03 23:23:35 · 90 阅读 · 0 评论 -
11、PCA 介绍
在许多领域的研究与应用中,通常需要对含有多个变量的数据进行观测,收集大量数据后进行分析寻找规律。因此需要找到一种合理的方法,在减少需要分析的指标同时,尽量减少原指标包含信息的损失,以达到对所收集数据进行全面分析的目的。PCA(Principal Component Analysis) 是一种常见的数据分析方式,常用于高维数据的降维,可用于提取数据的主要特征分量。PCA的主要思想是将n维特征映射到k维上,这k维是全新的正交特征也被称为主成分,是在原有n维特征的基础上重新构造出来的k维特征1、求均值,每列减原创 2022-06-05 12:12:21 · 1010 阅读 · 0 评论 -
孤立森林理论+例子
前言孤立森林(Isolation Forest)简称iForest,是无监督的模型,常用于异常检测。在一大堆数据中,找出与其它数据的规律不太符合的数据孤立森林将异常识别为树上平均路径较短的观测结果。每个孤立树都应用了一个过程:随机选择特征通过在所选特征的最大值和最小值之间随机选择一个值来分割数据点。程序简单例子import numpy as npimport matplotlib.pyplot as pltfrom sklearn.ensemble import Isolation原创 2022-01-04 17:05:12 · 2192 阅读 · 0 评论 -
隐马尔可夫模型例子
前言隐马尔可夫模型(Hidden Markov Model,HMM),是统计模型,它用来描述一个含有隐含未知参数的马尔可夫过程。其难点是从可观察的参数中确定该过程的隐含参数。然后利用这些参数来作进一步的分析,例如模式识别。(百度百科)马尔科夫假设:t 时刻的状态只与 t-1 时刻的状态有关马尔可夫链:是随机变量 X1, … , Xn 的一个数列马尔可夫过程:每个状态的转移只依赖于之前的 n 个状态,这个过程被称为1个 n 阶的模型,其中 n 是影响转移状态的数目。两个假设:马尔可夫假设: t原创 2022-01-04 16:39:04 · 2666 阅读 · 0 评论 -
自相关函数和偏自相关函数(ACF、PACF)
前言简单介绍一下自相关函数ACF和偏自相关函数 PACF的计算和图像显示,概念性的东西可以查阅其他资料了解。实例数值计算import statsmodels.tsa.api as smttime_series = [1,2,3,4,5,6,7,8]acf = smt.stattools.acf(time_series)pacf = smt.stattools.pacf(time_series,nlags = 3)print(acf)print(pacf)结果展示[ 1.原创 2021-10-10 16:04:45 · 7926 阅读 · 1 评论 -
机器学习模型融合方法简介
前言研究机器学习模型,有时觉得单一模型有其局限性,加另一个模型进去,效果会不会好点,或者将二者进行结合输出。目前市面上的一些文章,尤其喜欢使用融合模型。接下来简单聊聊融合的方式。1 融合对象融合对象,是指我们要对什么进行融合,这里是指不同的算法、模型和个体学习器等等。融合对象的基本信息:训练数据:数据集使用比例、预处理方法模型结构:RF、XGBoost、CatBoost、CNN、LSTM等;超参:随机种子数、权重初始化、损失函数等。2 融合方法2.1 投票法对多个学习器的预测结果进原创 2021-09-19 10:22:34 · 835 阅读 · 0 评论 -
Python 多元线性回归实例
前言之前用过的代码,现在整理一下。数据集链接: https://pan.baidu.com/s/1Wd3s22GF98CjSJg-P42S3Q提取码: d4rw程序from numpy import genfromtxt #genfromtxt函数创建数组表格数据import numpy as npfrom sklearn import datasets,linear_model #读取数据,r后边内容当做完整的字符串,忽略里面的特殊字符dataPath = r'data_原创 2021-09-11 17:51:12 · 2021 阅读 · 1 评论 -
Python 灰色关联度分析 与结果可视化
前言1、Python 灰色关联度分析 采用一个示例,简单分析一下。灰色关联度分析是 度量两条曲线的形态和走势是否相近本文是在前文的基础上,进行结果可视化展示。程序读数据import pandas as pimport numpy as npfrom numpy import *import matplotlib.pyplot as plt# 从硬盘读取数据进入内存data = pd.read_excel('data.xlsx',usecols=[0,1,2,3])data.h原创 2021-09-11 16:59:29 · 3981 阅读 · 1 评论 -
Python 灰色关联度分析
前言关联度:对于两个系统之间的因素,其随时间或不同对象而变化的关联性大小的量度,对于两个系统之间的因素,其随时间或不同对象而变化的关联性大小的量度.灰色关联度分析(Grey Relation Analysis,GRA),是一种多因素统计分析的方法,是一种对影响目标序列的相关因素进行定量分析的模型。本文采用一个示例,简单分析一下。数据集链接: https://pan.baidu.com/s/1pmPSvoZ-9wYRrPbFFKM_-w 提取码: obo2程序import pandas as原创 2021-09-11 15:57:25 · 5826 阅读 · 0 评论 -
LSTM 多变量单步预测空气质量(3 ---》1)
前言LSTM 航空乘客预测单步预测的两种情况。 简单运用LSTM 模型进行预测分析。加入注意力机制的LSTM 对航空乘客预测采用了目前市面上比较流行的注意力机制,将两者进行结合预测。多层 LSTM 对航空乘客预测 简单运用多层的LSTM 模型进行预测分析。双向LSTM 对航空乘客预测双向LSTM网络对其进行预测。MLP多层感知器 对航空乘客预测简化版 使用MLP 对航空乘客预测CNN + LSTM 航空乘客预测采用的CNN + LSTM网络对其进行预测。ConvLSTM 航空乘客预测采用Co原创 2021-09-02 16:36:45 · 1516 阅读 · 0 评论 -
LSTM 多变量单步预测空气质量(1---》1)
前言LSTM 航空乘客预测单步预测的两种情况。 简单运用LSTM 模型进行预测分析。加入注意力机制的LSTM 对航空乘客预测采用了目前市面上比较流行的注意力机制,将两者进行结合预测。多层 LSTM 对航空乘客预测 简单运用多层的LSTM 模型进行预测分析。双向LSTM 对航空乘客预测双向LSTM网络对其进行预测。MLP多层感知器 对航空乘客预测简化版 使用MLP 对航空乘客预测CNN + LSTM 航空乘客预测采用的CNN + LSTM网络对其进行预测。ConvLSTM 航空乘客预测采用Co原创 2021-09-02 09:57:04 · 3014 阅读 · 2 评论 -
LSTM 单变量多步预测航空乘客复杂版
前言LSTM 航空乘客预测单步预测的两种情况。 简单运用LSTM 模型进行预测分析。加入注意力机制的LSTM 对航空乘客预测采用了目前市面上比较流行的注意力机制,将两者进行结合预测。多层 LSTM 对航空乘客预测 简单运用多层的LSTM 模型进行预测分析。双向LSTM 对航空乘客预测双向LSTM网络对其进行预测。MLP多层感知器 对航空乘客预测简化版 使用MLP 对航空乘客预测CNN + LSTM 航空乘客预测采用的CNN + LSTM网络对其进行预测。ConvLSTM 航空乘客预测采用Co原创 2021-08-26 20:00:59 · 2797 阅读 · 5 评论 -
LSTM 单变量多步预测航空乘客简化版
前言LSTM 航空乘客预测单步预测的两种情况。 简单运用LSTM 模型进行预测分析。加入注意力机制的LSTM 对航空乘客预测采用了目前市面上比较流行的注意力机制,将两者进行结合预测。多层 LSTM 对航空乘客预测 简单运用多层的LSTM 模型进行预测分析。双向LSTM 对航空乘客预测双向LSTM网络对其进行预测。MLP多层感知器 对航空乘客预测 使用MLP 对航空乘客预测CNN + LSTM 航空乘客预测采用的CNN + LSTM网络对其进行预测。ConvLSTM 航空乘客预测采用ConvL原创 2021-08-26 19:46:42 · 2103 阅读 · 10 评论 -
LSTM的输入格式和输出个数说明
最近使用LSTM 神经网络进行预测的时候,突然发现对其输入输出不是很清晰,照着大佬们的改改还行,不能深入了解,有点难受呀。下面简单介绍一下。不同预测方式的数据格式要相对应改变LSTM对应数据要正确,其实有些地方对不上的话,也不影响代码正常运行,但是要科学对待。原创 2021-08-26 11:03:14 · 14429 阅读 · 9 评论 -
机器学习中激活函数的作用
前言在使用机器学习算法模型中,激活函数的选择也是很重要的,但是对为啥使用激活函数却不太清楚。激活函数作用激活的定义网络的每一层在输出时,都需要进行一次非线性变换,被称为激活。如果不进行激活,则网络中各层均进行线性变换。激活函数的作用,为啥使用激活函数的原因不使用激活函数的话,这样无论网络包含多少层,最终的输出都可以用输入的线性变换表示出来,也就和1层的线性网络没有差别了。使用激活函数的话,非线性的变换能够让网络存储的信息大大增加,而非线性变换的方式并不固定。...原创 2021-08-24 11:48:57 · 1701 阅读 · 0 评论 -
ConvLSTM 航空乘客预测
前言LSTM 航空乘客预测单步预测的两种情况。 简单运用LSTM 模型进行预测分析。加入注意力机制的LSTM 对航空乘客预测采用了目前市面上比较流行的注意力机制,将两者进行结合预测。多层 LSTM 对航空乘客预测 简单运用多层的LSTM 模型进行预测分析。双向LSTM 对航空乘客预测双向LSTM网络对其进行预测。MLP多层感知器 对航空乘客预测 使用MLP 对航空乘客预测6.CNN + LSTM 航空乘客预测采用的CNN + LSTM网络对其进行预测。本文采用ConvLSTM网络对其进行预原创 2021-08-22 21:03:44 · 3085 阅读 · 5 评论 -
CNN + LSTM 航空乘客预测
LSTM 航空乘客预测单步预测的两种情况。简单运用LSTM 模型进行预测分析。加入注意力机制的LSTM 对航空乘客预测采用了目前市面上比较流行的注意力机制,将两者进行结合预测。多层 LSTM 对航空乘客预测简单运用多层的LSTM 模型进行预测分析。双向LSTM 对航空乘客预测双向LSTM网络对其进行预测。MLP多层感知器 对航空乘客预测使用MLP 对航空乘客预测本文采用的CNN + LSTM网络对其进行预测。我喜欢直接代码+ 结果展示先代码可以跑通,才值得深入研究每个部分之间的关系;原创 2021-08-22 19:50:36 · 8858 阅读 · 31 评论 -
MLP多层感知器 对航空乘客预测
前言LSTM 航空乘客预测 单步预测和多步预测。 简单运用LSTM 模型进行预测分析。加入注意力机制的LSTM 对航空乘客预测采用了目前市面上比较流行的注意力机制,将两者进行结合预测。多层 LSTM 对航空乘客预测 简单运用多层的LSTM 模型进行预测分析。双向LSTM 对航空乘客预测双向LSTM网络对其进行预测。MLP多层感知器的python小例子 对MLP的简单运用本文采用多层感知器网络对其进行预测。我喜欢直接代码+ 结果展示先代码可以跑通,才值得深入研究每个部分之间的关系;进而改造原创 2021-08-22 16:26:15 · 987 阅读 · 1 评论 -
双向LSTM 对航空乘客预测
前言这篇文章LSTM 航空乘客预测 单步预测和多步预测。 简单运用LSTM 模型进行预测分析。这篇文章加入注意力机制的LSTM 对航空乘客预测采用了目前市面上比较流行的注意力机制,将两者进行结合预测。这篇文章多层 LSTM 对航空乘客预测 简单运用多层的LSTM 模型进行预测分析。本文采用双向LSTM网络对其进行预测。我喜欢直接代码+ 结果展示先代码可以跑通,才值得深入研究每个部分之间的关系;进而改造成自己可用的数据。1 数据集链接: https://pan.baidu.com/s/1jv7原创 2021-08-22 15:33:13 · 1901 阅读 · 11 评论 -
多层 LSTM 对航空乘客预测
前言这篇文章LSTM 航空乘客预测 单步预测和多步预测。 简单运用LSTM 模型进行预测分析。这篇文章加入注意力机制的LSTM 对航空乘客预测采用了目前市面上比较流行的注意力机制,将两者进行结合预测。本文采用的多层LSTM网络对其进行预测。我喜欢直接代码+ 结果展示先代码可以跑通,才值得深入研究每个部分之间的关系;进而改造成自己可用的数据。1 数据集链接: https://pan.baidu.com/s/1jv7A2JvIhA6oqvtYnYh9vQ提取码: m5j52 模型2.1原创 2021-08-22 15:06:21 · 1139 阅读 · 3 评论 -
MLP多层感知器的python小例子
前言MLP 简单介绍多层感知器(Multi-Layer Perceptron,MLP)也叫人工神经网络(Artificial Neural Network,ANN)多层感知机层与层之间是全连接的。多层感知机最底层是输入层,中间是隐藏层,最后是输出层。全连接:上一层的任何一个神经元与下一层的所有神经元都有连接。MLP 可以进行分类和回归预测本文进行简单的回归预测。实例解读代码# 单变量多层感知器的例子# 导入包from numpy import arrayfrom keras.原创 2021-08-22 12:13:36 · 1946 阅读 · 0 评论 -
加入注意力机制的LSTM 对航空乘客预测
这篇文章LSTM 航空乘客预测 单步预测和多步预测。简单运用LSTM 模型进行预测分析。想着可以进一步改进LSTM模型,就采用了目前市面上比较流行的注意力机制,将两者进行结合,对LSTM进行改进,其预测效果可能会变好。我喜欢直接代码+ 结果展示先代码可以跑通,才值得深入研究每个部分之间的关系;进而改造成自己可用的数据。注意力机制的作用代码中 LSTM后面连接注意力机制的代码不是说加了注意力机制的LSTM网络一定会好于LSTM,具体要看数据、参数和实验环境等条件。原创 2021-08-21 19:05:43 · 10606 阅读 · 25 评论 -
LSTM 航空乘客预测单步预测的两种情况
近期回顾LSTM 做时间序列数据预测,网上也有很多的教程,在跑这个程序时,遇到一些问题,特此记录分享一下。使用LSTM 进行单步预测和多步预测,LSTM 的输出格式要重新调整,简单演示,不调参数。这篇文章加入注意力机制的LSTM 对航空乘客预测,加了注意力机制的东西,有兴趣可以看看。外国学者写的文章,比较具体,有兴趣可以进去看看。我喜欢直接代码+ 结果展示先代码可以跑通,才值得深入研究每个部分之间的关系;进而改造成自己可用的数据。使用LSTM网络,数据要归一化处理, 格式要处理。原创 2021-08-16 20:56:28 · 7173 阅读 · 19 评论