![](https://img-blog.csdnimg.cn/20201014180756922.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
机器学习算法
文章平均质量分 90
意念回复
这个作者很懒,什么都没留下…
展开
-
Pytroch 模型权重初始化
权值初始化是指在网络模型训练之前,对各节点的权值和偏置初始化的过程,正确的初始化会加快模型的收敛,从而加快模型的训练速度,而不恰当的初始化可能会导致梯度消失或梯度爆炸,最终导致模型无法训练。原创 2023-05-18 11:29:55 · 2254 阅读 · 0 评论 -
cat boost
Score functions - Algorithm details | CatBoostcatboost原理_chencas的博客-CSDN博客_catboost原理初学CatBoost模型——特性、原理、目标编码、调参 - 山枫叶纷飞 - 博客园原创 2022-05-14 00:21:01 · 396 阅读 · 0 评论 -
XGBOOST和LightGBM
XGBOOST:https://blog.csdn.net/sb19931201/article/details/52557382http://www.52cs.org/?p=429(比较全)http://wepon.me/XGBoost特点、调参、讨论:https://blog.csdn.net/niaolianjiulin/article/details/765742161.有监督学习算法的...原创 2018-04-25 00:12:02 · 262 阅读 · 0 评论 -
N-BEATS
通用的block多,原因可能是需要更多的block去学习,而可解释性的方法中添加了很多先验知识。[论文精读] N-BEATS:对可解释时序预测的神经基础扩展分析_哔哩哔哩_bilibili【论文分享】N-BEATS: 神经网络底层扩展分析,用于可解释的时间序列预测。_哔哩哔哩_bilibili...原创 2022-05-10 15:54:27 · 1431 阅读 · 0 评论 -
TCN(Temporal Convolutional Network,时间卷积网络)
1 前言 实验表明,RNN 在几乎所有的序列问题上都有良好表现,包括语音/文本识别、机器翻译、手写体识别、序列数据分析(预测)等。 在实际应用中,RNN 在内部设计上存在一个严重的问题:由于网络一次只能处理一个时间步长,后一步必须等前一步处理完才能进行运算。这意味着 RNN 不能像 CNN 那样进行大规模并行处理,特别是在 RNN/LSTM 对文本进行双向处理时。这也意味着 RNN 极度地计算密集,因为在整个任务运行完成之前,必须保存所有的中间结果。 ...原创 2022-05-10 00:37:17 · 82704 阅读 · 15 评论 -
ARIMA(Autoregressive Integrated Moving Average Model)
对时间序列数据进行分析和预测比较完善和精确的算法是博克思-詹金斯(Box-Jenkins)方法,其常用模型包括:自回归模型(AR模型)、滑动平均模型(MA模型)、(自回归-滑动平均混合模型)ARMA模型、(差分整合移动平均自回归模型)ARIMA模型。 ARIMA模型(英语:AutoregressiveIntegratedMovingAverage model),差分整合移动平均自回归模型,又称整合移动平均自回归模型(移动也可称作滑动),是时间序列预测分析方法之一。AR...原创 2022-05-04 19:00:39 · 12373 阅读 · 1 评论 -
机器学习算法(三十):强化学习(Reinforcement Learning)
目录1 简介1.1 什么是强化学习1.2 强化学习的主要特点1.3 强化学习的组成部分2强化学习训练过程3强化学习算法归类3.1 Value Based3.2Policy Based3.3 Actor-Critic3.4 其他分类4EE(Explore & Exploit)探索与利用5 强化学习实际开展中的难点6 强化学习的实际应用6.1 自动驾驶6.2 游戏6.3 推荐系统7 Q-learning8 策略梯度...原创 2022-04-26 16:14:12 · 39176 阅读 · 0 评论 -
转置卷积(Transposed Convolution)
转置卷积(Transpose Convolution),一些地方也称为“反卷积”,在深度学习中表示为卷积的一个逆向过程,可以根据卷积核大小和输出的大小,恢复卷积前的图像尺寸,而不是恢复原始值。1 卷积操作及转置卷积的定义1.1 卷积操作 对于一个输入大小为 的图像,卷积核大小为 : 计算输出的具体实现方法为矩阵乘法。 将卷积核表示为稀疏矩阵 每一行向量表示在一个位置的卷积操作,0填充表示...原创 2022-04-22 12:28:42 · 5683 阅读 · 0 评论 -
卷积神经网络中二维卷积核与三维卷积核有什么区别?
1一维卷积神经网络(1D-CNN) 一维卷积常用在序列模型、自然语言处理领域; 假设输入数据维度为8,filter维度为5,不加padding时,输出维度为4;如果filter的数量为16,那么输出数据的shape就是;2 二维卷积神经网络(2D-CNN) 二维卷积常用在计算机视觉、图像处理领域(在视频的处理中,是对每一帧图像分别利用CNN来进行识别,没有考虑时间维度的信息);输入是7帧的灰度图。...原创 2022-04-21 00:15:20 · 10603 阅读 · 3 评论 -
机器学习算法(十二):聚类
目录1 K的选择1.1肘部法则(Elbow method)1.2目标法则1.3间隔统计量 Gap Statistic1.4 关于K值选择的改进算法——ISODATA算法2聚类算法的评估2.1估计聚类趋势2.2 判定数据簇数2.3测定聚类质量2.3.1轮廓系数(Silhouette Coefficient)2.3.2均方根标准偏差(Root-mean-square standard deviation,RMSSTD)2.3.3 R方(R-Sq...原创 2022-04-05 18:31:47 · 12208 阅读 · 0 评论 -
自组织映射神经网络(SOM)
目录1 背景:自组织(竞争型)神经网络2竞争学习的概念与原理2.1 竞争学习的步骤2.2 示例3SOM典型结构4SOM网的权值调整域5 SOM Kohonen 学习算法6 SOM示例7SOM设计细节7.1输出层设计7.2输出层节点排列的设计7.3 权值初始化问题7.4学习率的设计7.5设计拓扑领域8SOM功能分析8.1 保序映射8.2数据压缩8.3 特征提取9自组织映射神经网络与K均值算法的区别...原创 2022-04-05 15:50:13 · 8569 阅读 · 3 评论 -
机器学习算法(二十九):高斯混合模型(Gaussian Mixed Model,GMM)
目录1 混合模型(Mixture Model)2 高斯模型2.1 单高斯模型2.2高斯混合模型3模型参数学习3.1单高斯模型3.2高斯混合模型4高斯混合模型与K均值算法对比1 混合模型(Mixture Model) 混合模型是一个可以用来表示在总体分布(distribution)中含有 K 个子分布的概率模型,换句话说,混合模型表示了观测数据在总体中的概率分布,它是一个由 K 个子分布组成的混合分布。混合模型不要求观测数据提供关于子分布的...原创 2022-04-05 00:28:44 · 21950 阅读 · 4 评论 -
机器学习算法(二十八):Gan (生成式对抗网络)
生成式对抗网络(GAN, Generative Adversarial Networks )是一种深度学习模型,是近年来复杂分布上无监督学习最具前景的方法之一。模型通过框架中(至少)两个模块:生成模型(Generative Model)和判别模型(Discriminative Model)的互相博弈学习产生相当好的输出。原始 GAN理论中,并不要求 G 和 D 都是神经网络,只需要是能拟合相应生成和判别的函数即可。但实用中一般均使用深度神经网络作为 G 和 D 。一个优秀的GAN应用需要有...原创 2022-03-20 12:02:03 · 9253 阅读 · 1 评论 -
机器学习算法(二十七):贝叶斯网络
目录1. 对概率图模型的理解2. 贝叶斯方法2.1 频率派观点2.2 贝叶斯学派2.3 贝叶斯定理2.4 应用:拼写检查3 贝叶斯网络3.1 贝叶斯网络的定义3.2贝叶斯网络的3种结构形式3.2.1 形式1:head-to-head3.2.2 形式2:tail-to-tail3.2.3 形式3:head-to-tail3.3贝叶斯网络的实例3.4 因子图3.4.1 因子图的定义3.4.2 Sum-product算法1. 对概率图模...原创 2022-03-19 19:42:06 · 4435 阅读 · 0 评论 -
DeepFM
目录1 概述2DeepFM2.1 模型2.2 每一层详解2.2.1第一层2.2.2 第二层2.2.3第三层2.2.4第四层 Output Units3FM层的探究1 概述关键词:特征组合 LR:缺乏特征组合能力,需人工做特征工程 GBDT+LR:特种组合能力不强,对高维的稀疏特征应对乏力 FM:具有较强的二阶特征组合能力,高阶特征组合应对乏力 Wide&Deep:较好地利用了低阶和高阶组合特征。但是wide部分依旧需要特征工程,...原创 2021-12-09 14:25:32 · 534 阅读 · 0 评论 -
机器学习算法(二十六):文本表示模型
1 词袋模型 最基础的文本表示模型是词袋模型。 顾名思义, 就是将每篇文章看成一袋子词, 并忽略每个词出现的顺序。 具体地说, 就是将整段文本以词为单位切分开,然后每篇文章可以表示成一个长向量, 向量中的每一维代表一个单词, 而该维对应的权重则反映了这个词在原文章中的重要程度。...原创 2021-11-13 18:29:27 · 2921 阅读 · 0 评论 -
机器学习算法(十五):XGBoost
3 XGBoost XGBoost的进化史: XGBoost全名叫(eXtreme Gradient Boosting)极端梯度提升,经常被用在一些比赛中,其效果显著。它是大规模并行boosted tree的工具,它是目前最快最好的开源boosted tree工具包。XGBoost 所应用的算法就是 GBDT(gradient boosting decision tree)的改进,既可以用于分类也可以用于回归问题中。与GBDT最大的区别是xgboo...原创 2021-11-08 20:26:16 · 11807 阅读 · 1 评论 -
傅里叶(四):离散傅里叶变换(DFT)
在https://blog.csdn.net/weixin_39910711/article/details/118386251中,我们将傅里叶级数推导为傅里叶变换,而傅里叶变换计算的时候因为是一个积分,计算机并不是很好计算,所以要把积分换成一种累加形式,也就是本文要讨论的 离散傅里叶变化 DFT。 我们取上一篇的公式(7)其中: 因为傅里叶变化令从而使一个累加的式子变成了一个积分,而DFT中会根据输入的信号点数确定具体的值。具体计算公...原创 2021-07-01 15:11:06 · 896 阅读 · 0 评论 -
傅里叶(三):傅里叶变换的推导
1 傅里叶级数的公式(三角函数形式)2把傅里叶级数转换为指数形式2.1欧拉公式欧拉公式:可以变形为: 虚数i这个概念大家在高中就接触过,但那时我们只知道它是-1的平方根,可是它真正的意义是什么呢? 这里有一条数轴,在数轴上有一个红色的线段,它的长度是 1。当它乘以3的时候,它的长度发生了变化,变成了蓝色的线段,而当它乘以-1的时候,就变成了绿色的线段,或者说线段在数轴上围绕原点旋转了180度。 ...原创 2021-07-01 15:01:59 · 6688 阅读 · 1 评论 -
傅里叶(二):傅里叶级数的推导
傅里叶分析相关介绍:https://blog.csdn.net/weixin_39910711/article/details/111370698?spm=1001.2014.3001.55011傅里叶级数的公式其中: 单看那个(1)式,就是把周期函数 f(t) 描述成一个常数系数 a0、及1倍 ω 的sin和cos函数、2倍ω的sin和cos函数等、到n倍ω的sin和cos函数等一系列式子的和,且每项都有不同的系数,即an和bn,至于这些系数,需要用积分来解得,即{2}...原创 2021-07-01 14:20:00 · 7054 阅读 · 0 评论 -
傅里叶(一):傅里叶分析
什么是相位?如何更加形象直观地理解相位?https://www.zhihu.com/question/31104681/answer/173663286从时域和频域来解析傅里叶变换(含代码和性质):https://www.jianshu.com/p/4cb34e716fd1傅里叶变换就是这么简单,你学会了吗? :https://www.sohu.com/a/224533027_99907714...原创 2021-07-01 10:18:35 · 14048 阅读 · 0 评论 -
机器学习算法(二十五):KD树详解及KD树最近邻算法
目录1 KD树1.1什么是KD树1.2KD树的构建1.3 KD树的插入1.4KD树的删除1.5KD树的最近邻搜索算法1.5.1举例:查询点(2.1,3.1)1.5.2 举例:查询点(2,4.5)2 kd树近邻搜索算法的改进:BBF算法3 球树、M树、VP树、MVP树3.1球树3.2VP树与MVP树简介 特征点匹配和数据库查、图像检索本质上是同一个问题,都可以归结为一个通过距离函数在高维矢量之间进行相似性检索的问题,如何快速而准确...原创 2021-03-06 19:18:48 · 20510 阅读 · 6 评论 -
机器学习算法(二十四):最近邻算法 KNN(k-nearest neighbor)
目录1 基于实例的学习2k-最近邻法2.1 算法概述2.2kNN算法的一般流程2.3距离公式2.4k值的选择2.5KNN特点2.5.1特点2.5.2KNN算法的优势和劣势3距离加权最近邻算法 k-最近邻算法是基于实例的学习方法中最基本的,先介绍基于实例学习的相关概念。1 基于实例的学习已知一系列的训练样例,很多学习方法为目标函数建立起明确的一般化描述;但与此不同,基于实例的学习方法只是简单地把训练样例存储起来。 每当学习器遇...原创 2021-03-06 16:37:07 · 7535 阅读 · 0 评论 -
机器学习算法(二十三):DTW(Dynamic Time Warping,动态时间调整)
1DTW(动态时间调整) 动态时间调整算法是大多用于检测两条语音的相似程度,由于每次发言,每个字母发音的长短不同,会导致两条语音不会完全的吻合,动态时间调整算法,会对语音进行拉伸或者压缩,使得它们尽可能的对齐。 如上图红圈标注的位置,可以发现下面那条线中有许多的点与之对应,如果换成一个个离散的点表示的话,实际上是对上一条曲线该点进行了拉伸处理,使得它们最大化对齐。 最近在研究时间序列的问题,时间序列类似这个。假如想计算两条天气的时间序列是否相似,由...原创 2020-08-30 23:36:57 · 24050 阅读 · 3 评论 -
机器学习算法(二十二):局部离群因子检测方法 (Local Outlier Factor, LOF)
1 离群点挖掘方法2LOF 算法背景 基于密度的离群点检测方法的关键步骤在于给每个数据点都分配一个离散度,其主要思想是:针对给定的数据集,对其中的任意一个数据点,如果在其局部邻域内的点都很密集,那么认为此数据点为正常数据点;而离群点则是距离正常数据点最近邻的点都比较远的数据点。通常有阈值进行界定距离的远近。在基于密度的离群点检测方法中,最具有代表性的方法是局部离群因子检测方法 (Local Outlier Factor, LOF)。3LOF算法简介 在众多...原创 2020-08-30 23:35:15 · 11774 阅读 · 9 评论 -
指数加权移动平均
指数加权移动平均exponentially weighted moving average (EWMA),又叫指数移动平均exponential moving average (EMA)。算术平均(权重相等)—>加权平均(权重不等)—>移动平均(大约是只取最近的N次数据进行计算)—> 批量归一化(BN)及各种优化算法的基础 EMA:是以指数式递减加权的移动平均,各数值的加权影响力随时间呈指数式递减,时间越靠近当前时刻的数据加权影响力越大1指数加权移动平均 ...原创 2020-08-18 23:59:15 · 2597 阅读 · 0 评论 -
指数平滑法(Exponential Smoothing,ES)
目录1 指数平滑2 一次指数平滑预测2.1 定义2.2 例题3 二次指数平滑法3.1 定义3.2例题4三次指数平滑预测4.1 定义4.2 例题5 加权系数a的选择1 指数平滑 在做时序预测时,一个显然的思路是:认为离着预测点越近的点,作用越大。比如我这个月体重100斤,去年某个月120斤,显然对于预测下个月体重而言,这个月的数据影响力更大些。假设随着时间变化权重以指数方式下降——最近为0.8,然后0....原创 2020-08-18 22:53:25 · 50661 阅读 · 7 评论 -
基于时间序列的异常检测
1 异常检测http://blog.rexking6.top/2018/11/05/%E5%9F%BA%E4%BA%8E%E6%97%B6%E9%97%B4%E5%BA%8F%E5%88%97%E7%9A%84%E5%BC%82%E5%B8%B8%E6%A3%80%E6%B5%8B/原创 2020-08-02 23:50:52 · 4810 阅读 · 0 评论 -
机器学习算法(二十一):核密度估计 Kernel Density Estimation(KDE)
1 分布密度函数 给定一个样本集,怎么得到该样本集的分布密度函数,解决这一问题有两个方法:1.1 参数估计方法 简单来讲,即假定样本集符合某一概率分布,然后根据样本集拟合该分布中的参数,例如:似然估计,混合高斯等,由于参数估计方法中需要加入主观的先验知识,往往很难拟合出与真实分布的模型;1.2 非参数估计 和参数估计不同,非参数估计并不加入任何先验知识,而是根据数据本身的特点、性质来拟合分布,这样能比参数估计方法得出更好的模型。核密度估计就是非参数估计中的一种,由...原创 2020-07-13 11:18:40 · 51003 阅读 · 15 评论 -
机器学习算法(二十):孤立森林 iForest (Isolation Forest)
1背景 现有的异常检测方法主要是通过对正常样本的描述,给出一个正常样本在特征空间中的区域,对于不在这个区域中的样本,视为异常。这些方法的主要缺点是,异常检测器只会对正常样本的描述做优化,而不会对异常样本的描述做优化,这样就有可能造成大量的误报,或者只检测到少量的异常。 异常的两个特点:异常数据只占很少量、异常数据特征值和正常数据差别很大。 孤立森林,不再是描述正常的样本点,而是要孤立异常点,由周志华教授等人于2008年在第八届IEEE数据挖掘国际会议上...原创 2020-06-03 23:40:47 · 9096 阅读 · 1 评论 -
异常点检测算法
异常点检测,有时也叫离群点检测,英文一般叫做Novelty Detection或者Outlier Detection,是比较常见的一类非监督学习算法。1 异常点检测算法使用场景 什么时候我们需要异常点检测算法呢?常见的有三种情况。在做特征工程的时候需要对异常的数据做过滤,防止对归一化等处理的结果产生影响。 对没有标记输出的特征数据做筛选,找出异常的数据。 对有标记输出的特征数据做二分类时,由于某些类别的训练样本非常少,类别严重不平衡,此时也可以考虑用非监督的异常点检测算法来做。...原创 2020-05-28 23:53:36 · 2962 阅读 · 0 评论 -
无监督学习总结
目录1 聚类1.1 K-均值算法(K-Means)1.2层次聚类(Hierarchical Clustering)1.3基于密度聚类Mean Shift1.4 基于密度聚类DBSCAN1.5 高斯混合模型(GMM)与EM1.6 基于图论聚类2 降维2.1 主成分分析(Principal Component Analysis,PCA)2.2 SVD矩阵分解(Singular Value Decomposition)2.3 独立成分分析(ICA)2....原创 2020-05-28 23:03:47 · 6733 阅读 · 0 评论 -
机器学习算法(十九):最大熵模型
1 熵详见:熵https://blog.csdn.net/weixin_39910711/article/details/101299441 熵的概念最早起源于物理学,用于度量一个热力学系统的无序程度。在信息论里面,熵是对不确定性的测量。1.1 熵的引入 事实上,熵的英文原文为entropy,最初由德国物理学家鲁道夫·克劳修斯提出,其表达式为: ...原创 2020-04-29 23:51:56 · 1019 阅读 · 0 评论 -
机器学习算法(十七):隐马尔科夫模型(HMM)
隐马尔科夫模型一(概念理解):https://blog.csdn.net/gzj_1101/article/details/79955340有趣的隐马尔科夫模型:https://baijiahao.baidu.com/s?id=1601390969712055408&wfr=spider&for=pc...原创 2020-03-01 18:07:28 · 3269 阅读 · 0 评论 -
机器学习算法(十六):马尔科夫链
https://blog.csdn.net/gzj_1101/article/details/79955340https://baijiahao.baidu.com/s?id=1601390969712055408&wfr=spider&for=pc原创 2020-03-01 01:12:20 · 5198 阅读 · 0 评论 -
机器学习算法(十二):聚类(3)基于密度的聚类——DBSCAN聚类算法
目录1DBSCAN聚类算法2 参数选择3 步骤4 实例5 常用的评估方法:轮廓系数6DBSCAN 算法评价及改进 基于密度的聚类是根据样本的密度分布来进行聚类。通常情况下,密度聚类从样本密度的角度出来,来考查样本之间的可连接性,并基于可连接样本不断扩展聚类簇,以获得最终的聚类结果。其中最著名的算法就是 DBSCAN 算法。 DBSCA...原创 2020-02-29 15:24:11 · 3354 阅读 · 0 评论 -
机器学习算法(十二):聚类(2)层次聚类 Hierarchical Clustering
https://blog.csdn.net/Andy_shenzl/article/details/83783469https://blog.csdn.net/huacha__/article/details/81094891https://blog.csdn.net/denghecsdn/article/details/82793940原创 2020-02-29 00:33:51 · 8339 阅读 · 1 评论 -
机器学习算法(十五):GBDT
关于树的几个ensemble模型的比较(GBDT、xgBoost、lightGBM、RF):https://blog.csdn.net/xwd18280820053/article/details/689274221 决策树 决策树详见:https://blog.csdn.net/weixin_39910711/article/details/79468798 ...原创 2020-02-15 00:09:21 · 7204 阅读 · 0 评论 -
提升方法(二):提升树
目录1 提升树模型2 提升树算法3 梯度提升提升方法与AdaBoost算法见:https://blog.csdn.net/weixin_39910711/article/details/1040052701 提升树模型 其中,例子见https://blog.csdn.net/weixin_39910711/article/details/1040052...原创 2020-01-17 17:25:46 · 180 阅读 · 0 评论 -
提升方法(一):AdaBoost算法
目录1AdaBoost算法1.1AdaBoost算法基本思路1.2AdaBoost算法步骤1.3AdaBoost算法的例子2AdaBoost算法的训练误差分析2.1 定理1(AdaBoost的训练误差界)2.2 定理二(二类分类问题AdaBoost的训练误差界)3AdaBoost算法的解释3.1前向分步算法3.2前向分步算法与Adaboos...原创 2020-01-17 15:11:09 · 504 阅读 · 0 评论