![](https://img-blog.csdnimg.cn/20201014180756754.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
机器学习
amorfatilily
单向书店
展开
-
时序数据表示学习
时序数据表示学习研究背景及工作概述时序数据在我们的日常生活中广泛存在,随着采集设备不断升级,各类传感器的大规模部署,每天都在以数以亿计的速度产生时序数据。主要包括遥感领域的GPS轨迹数据,包括卫星通讯,态势监控,雷达遥感,以及其他领域的设备日志,操作记录,用户活动等等。这类数据具有数据体量庞大,关联信息异构,分析任务多样等特点对于时序数据的处理框架主要聚焦在存储和索引上,而传统的分析算法难以适应大规模、异构、复杂的分析任务在2012年斯坦福的教授第一次将深度学习框架引入了时序数据建模上。从而开.原创 2021-10-20 19:22:23 · 1594 阅读 · 0 评论 -
评估指标积累
线性回归模型验证参数:SSE(和方差,误差平方和)该统计参数计算的是拟合数据和原始数据对应点的误差的平方和,计算公式如下:其中,SSE越接近于0,说明模型拟合和选择更好,数据预测也越成功。MSE (均方差)该统计参数是预测数据和原始数据对应点误差的平方和的均值。也就是SSE/n。RMSE (均方根)该统计参数也称为回归系数的拟合标准差,是MSE的平方根,即(SSE/n)的1/2次方跟。R-square (确定系数)越接近于1越好,大于0.8就表示还不错。在介绍该指标之前,先介绍另外原创 2021-10-14 10:10:24 · 280 阅读 · 0 评论 -
线性回归与逻辑回归
什么是线性回归?线性回归—回归—监督学习—机器学习回归的目的是为了预测,回归之所以可以能预测是因为它通过大量历史数据总结出“套路”,然后利用这个“套路”来预测未来的结果。线性回归指的是变量之间符合线性关系,那么通过历史数据,摸清变量之间的“套路”,建立一个有效的模型,来预测未来的变量结果。优点:建模速度快,可解释性好;缺点:不能很好拟合非线性数据线性回归与逻辑回归线性回归解决分类问题,要求变量连续,符合线性关系,能够直观表达变量关系;逻辑回归解决分类问题,要求变量离散,可以不符合线性关原创 2021-03-17 21:30:59 · 294 阅读 · 0 评论 -
机器学习入门
机器学习的基本思路将现实生活中的问题抽象成数学模型,并清楚模型中每个参数的作用;利用数学方法对数学模型进行求解,从而解决现实生活中的问题;评估这个数学模型是否真正解决了现实生活中的问题以及解决的程度如何。机器学习的原理通过训练集,不断识别特征,开始建模,最后形成有效的模型,这个过程称为“机器学习”。机器学习的分类根据训练方法,机器学习大致可分为3大类:监督学习非监督学习强化学习监督学习监督学习是指我们给算法一个数据集,并且给定正确答案,机器通过数据来学习正确答案的计算方法。原创 2021-03-17 19:38:53 · 105 阅读 · 0 评论 -
机器学习入门——数学基础1
机器学习数学基础1. 线性代数和微积分基础基础公式矩阵计算微分法则导数公式(1)向量向量的范数——具有“长度”概念的函数:1范数:每个维度的绝对值之和2范数:即向量的模无穷范数:各维度的最大值向量的点积:(2)矩阵矩阵的乘法——点积和元素积点积矩阵的转置(3)最大化参数(4)微分(导数)2. 统计学和概率论基础条件概率全概率公式3...原创 2020-02-24 12:04:26 · 294 阅读 · 0 评论 -
Pytorch error记录
代码:device = torch.device("cuda" if torch.cuda.is_available() else "cpu")batch_size = 32train_dataloader = torch.utils.data.DataLoader( datasets.MNIST("./mnist_data", train=True, download=True...原创 2020-04-21 18:45:49 · 156 阅读 · 0 评论 -
图注意力网络GAT in DGL
GAT in DGLGAT引入注意力机制来代替静态的归一化卷积操作。from dgl.nn.pytorch import GATConvimport torchimport torch.nn as nnimport torch.nn.functional as Fclass GATLayer(nn.Module): def __init__(self, g, in_d...原创 2020-04-09 23:18:39 · 1482 阅读 · 0 评论 -
线图神经网络(Line graph neural network, LGNN)
这一部分,我们可以通过实现一个线图神经网络(LGNN)来解决社团检测。社团检测,或者说图聚类,指的是将图中的节点划分为簇,而且簇内的节点比簇间的节点具有更高的相似性。在图神经网络中,我们可以了解到如何以一种半监督方式来对一张输入图的节点进行分类。我们使用图卷积网络作为图特征的嵌入机制。为了将图神经网络概况为有监督的社团检测, 论文Supervised Community Detection w...原创 2020-03-31 22:46:59 · 7299 阅读 · 2 评论 -
图卷积网络(Graph Convolutional Network,GCN)
图卷积网络(GCN)这里简单介绍下使用DGL来实现GCN。论文地址我们解释了GraphConv模块下的内容。希望读者可以了解如何使用DGL的APIs来定义一个新的GNN层。模型概述从消息传递的角度看GCN我们从消息传递的角度描述了一个图卷积神经网络层;具体数学描述见下。可以归结为下面的步骤,对于每个节点u:聚合邻居的表示hvh_vhv来生成一个中间表示h^u\hat{h}_uh^...原创 2020-03-28 23:17:57 · 915 阅读 · 0 评论 -
机器学习-时间序列分析1
时间序列介绍时间序列分析基础什么是时间序列时序分析的基础:平稳性检测严平稳:一种条件比较苛刻的平稳性定义,它认为只有当序列所有的统计性质都不会随着时间的推移而发生变化时,该序列才能被认为平稳。宽平稳:使用序列的特征统计量来定义的 一种平稳性。它认为序列的统计性质主要由它的低阶矩决定,所以只要保证序列低阶矩平稳(二阶),就能保证序列的主要性质近似稳定。自回归(AR)模型移动平...原创 2020-03-24 21:42:53 · 799 阅读 · 0 评论 -
机器学习-集成算法3
层叠层叠训练过程分为两步,首先将训练集分为两个子集,第一个子集用于训练基分类器。第二步使用第二个子集作为基分类器的输入得到相应的预测结果,和目标数据构成新的数据集作为元分类器(blender或meta-classifier)的输入。特点降低泛化误差提升模型的整体表现能力增加模型的复杂度,导致时间、计算成本较大用于kaggle、科研...原创 2020-03-24 14:55:41 · 107 阅读 · 0 评论 -
机器学习-集成学习2
装袋装袋(bagging)即引导聚集算法(bootstrap aggregation),这种方法通过构造一系列弱分类器(weak classifier),然后以一定的方式将它们组合成一个强分类(strong classifier),可以有效降低结果方差,避免过拟合。装袋流程图:算法流程:案例分析进行5轮随机有放回抽样对于每一轮抽样都生成一个弱分类器最后我们使用投票将5...原创 2020-03-24 14:08:17 · 186 阅读 · 0 评论 -
机器学习-集成学习1
集成学习概述案例分析对于不同的癌症症状,教授ABC的预测准确率不尽相同如何通过三位教授的意见使得对癌症的预测成功率能够最大化呢?集成学习:通过组合多种模型和方法,集成学习能够有效提高机器学习在数据集上的表现。与单一模型相比,可以产生更好的性能。为什么模型表现不同?模型假设不同优化技巧不同参数初始化不同两个重要概念准确性和多样性(diversity)。准确性指的是个体学...原创 2020-03-24 11:44:22 · 305 阅读 · 0 评论 -
机器学习-特征工程与模型评估4
模型评估案例介绍假设医生需要对病人的病情进行诊断,判读是否患有癌症,其判断准确率有92%。其中在1000名诊断病例中,有900名病人实际为正常,剩余的100名病人实际患病,这种情况下医生判断的足够准确吗?准确率准确率(accuracy)是分类模型最常用的评价标准,指正确预测数占输入样本总数的比例,无法准确描述正负样本不平衡以及多样本数量不平衡的情况(缺点)。对数损失对数损失(log...原创 2020-03-22 22:15:40 · 183 阅读 · 0 评论 -
机器学习-特征工程与模型评估3
多维尺度分析(MDS)视角1:希望找到这样一种降维方法,使得数据集在原样本空间中的距离在低维空间中得以保持。视角2:在模式识别中,我们会考虑到距离的问题,如果只知道一个样本和另一个样本在空间中的距离。根据距离的大小来判断分类。存在这样的一类问题:我们只知道空间中的点(样本)的距离,那么怎么来重构这些点的相对位置呢?内积矩阵B假设内积矩阵分解和位置坐标重构坐标降维...原创 2020-03-22 10:52:15 · 205 阅读 · 0 评论 -
CS224W: Mining and learning graphs1
来源:Jure Leskovec, Stanford UniversityWhy Networks?Networks are a general language for describing complex systems.There are complex systems all around us:Society is a collection of 7+ billion indi...原创 2020-03-19 22:59:48 · 142 阅读 · 0 评论 -
机器学习-特征工程与模型评估2
特征选择特征选择主要有两个目的减少特征数量、降维,使模型泛化能力更强,减少过拟合增强对特征和特征之间的理解特征选择应用阶段当数据与处理完成后,我们需要选择有意义的特征输入机器学习的算法和模型进行训练。从两个方面考虑来选择特征:特征是否发散特征与目标的相关性主要方法Filter过滤法(针对单一特征本身)Wrapper包装法(基于对不同特征之间的集合的搜索)Embedded嵌入...原创 2020-03-19 22:58:43 · 208 阅读 · 0 评论 -
机器学习-强化学习
强化学习简介什么是强化学习?强化学习是多学科多领域交叉的一个产物,它的本质就是解决“决策”问题,即学会自动进行决策。强化学习是一个“序列决策”问题,它需要连续选择一些行为,从而这些行为完成后得到最大的收益最好的结果。强化学习的方式它在没有任何label告诉算法应该怎么做的情况下,通过先尝试做出一些行为得到一个结果,通过先尝试做出一些行为得到一个结果,通过判断这个结果是对还是错来对之前的行为...原创 2020-03-14 20:05:55 · 1476 阅读 · 0 评论 -
机器学习-特征工程与模型评估1
特征工程概论特征工程的目的最大限度地从原始数据中提取特征以供算法和模型使用。引用工业界的一句话:数据和特征决定了机器学习的上限,而模型和算法只是逼近这个上限而已。...原创 2020-03-14 19:18:01 · 397 阅读 · 0 评论 -
机器学习-统计学习4
非参数密度估计非参数密度估计概述非参数密度估计概述直方图概率密度估计直方图密度估计得到的密度函数是不光滑的核密度估计概述核函数定义核密度估计的原理非参数密度估计的应用h的选择对密度估计的影响非参数分类与回归非参数分类概述分类问题简介非参数分类概述非参数分类的应用参数、非参数分类的比较非参数回归概述滑动均值回归简...原创 2020-03-14 11:10:15 · 461 阅读 · 0 评论 -
机器学习-统计学习3
参数方法分类与回归参数方法分类介绍** 特征、标签举例 **以下是从鸢尾花数据集(包含三种不同的鸢尾花)中取出的三个样本,每种鸢尾花各抽取一个样本,它们的特征、标签如下:** 参数化分类的原理**参数方法分类的步骤参数方法分类的应用参数方法回归介绍回归问题参数化回归的原理参数方法回归的应用参数方法分类与回归的总结假设检验假设检验概述...原创 2020-03-13 21:40:26 · 106 阅读 · 0 评论 -
机器学习-统计学习2
偏倚方差分解预备知识记号、均值、方差的性质相关概念偏差-方差分解的原理例题预备知识:正态分布相关性质偏差-方差分解的应用原创 2020-03-09 19:41:06 · 144 阅读 · 0 评论 -
卷积神经网络CNN
图片分类cat or dog?全连接网络参数过多(尤其是对于尺寸大的图片而言)以及由于目标对象位置不一定在某一个特定区域内的,而全连接网络不能分辨对象在不同位置时候的情况,所以就有了卷积神经网络。卷积神经网络卷积神经网络(Convollution Neural Network, CNN)是深度学习技术中极具代表性的网络结构之一,在图像处理领域取得了极大的成功。卷积层泛函分析中,卷积(...原创 2020-03-08 23:30:49 · 203 阅读 · 0 评论 -
循环神经网络RNN
文本预测人类不会每时每刻都重新开始思考,即便是当我们在读这段话的时候,我们都是结合之前单词的理解来掌握整句话的含义,人类的思考具有持久性,但是神经网络并不是这样的。智能助理文本翻译上述的数据特点是在时间维度上有一个前后的关系,这是全连接神经网络和卷积神经网络所无法处理的,这就催生了循环神经网络的诞生。循环神经网络循环神经网络 (recurrent neural network, R...原创 2020-03-08 22:02:56 · 139 阅读 · 0 评论 -
机器学习-深度学习2
训练深度神经网络梯度消失神经网络通过非线性隐藏层的堆叠可以拟合复杂的函数,但是随着层数的增加,神经网络会出现学习缓慢甚至无法学习的情况,这样的问题被称为梯度消失问题(vanishing gradient problem)。MNISTMNIST数据集是来自美国标准与技术研究所的手写体数据集,包括从0到9总共10个数字的手写体图像,常被用做教程或作为benchwork用于对比模型优劣。我们...原创 2020-03-08 21:16:23 · 378 阅读 · 0 评论 -
机器学习-深度学习基础
深度神经网络神经元(neuron)权重和偏差权重表示输入中各元素在决定输出结果中的重要性,偏差是输入的补充项,表示预测输出和标记(label)之间的偏移量。神经网络结构向量化前向传播从输入层(inout layer)通过隐藏层(hidder layer)一步步计算出输出层(output layer)的结果,神经网络中这样的计算方式被称为前向传播(forward propag...原创 2020-03-08 17:35:24 · 343 阅读 · 0 评论 -
机器学习-统计学习1
统计学习MLE(极大似然估计)极大似然方法基本概念概率分布用表示一个概率分布,是该分布的参数。例如,抛掷硬币的概率分布为:样本从概率分布中产生的数据称为样本,是从该分布中产生的n个样本。离散/连续分布当x取离散值时,称变量x的分布为离散分布;取连续值时,则称为连续分布。离散/连续参数当取离散值时,称为离散参数;取连续值时,称是连续参数。极大似然方法离散分布-离散...原创 2020-03-08 16:49:28 · 112 阅读 · 0 评论 -
异常值检验
异常值检验什么是异常值异常点(outlier)是一个数据对象,它明显不同于其他的数据对象,分为记录异常和非记录异常。异常值检验的应用信用卡欺诈检测、电信欺诈检测、网络入侵检测、故障检测。怎样确定异常值数据中有多少离群值(怎么界定)方法往往是无人监督的,验证可能相当具有挑战性(就像聚类)异常检测的方法基于规则的方法基于模型的方法可视化判断箱形图(1-D)和散点图(2-...原创 2020-03-06 14:35:15 · 998 阅读 · 0 评论 -
EM算法
EM算法概念一种用于求解含有隐变量的概率模型参数的极大似然估计,或者最大后验估计的迭代算法。E步:求期望——>迭代——>M步:极大化——>迭代——>E步:求期望一句话总结:瞎猜+反思引入模型扩展模型分析EM算法引入算法介绍EM算法:迭代求解...原创 2020-03-06 13:25:06 · 161 阅读 · 0 评论 -
机器学习-无监督学习4
流形学习介绍之LLE&ISOMAP流形学习介绍PCA对于一个流形数据学习的结果LLE(局部嵌入学习)对于一个流形数据学习的结果PCA不能反映流形结构的数据,LDA是一种对于监督学习的分类的训练方式,所以需要用到流形学习算法。流形学习的主要思想假设数据是均匀采样于一个高维欧式空间中的低维流形,流形学习就是从高维采样数据中恢复低维流形结构,并求出相应的嵌入映射,以实现维数约简或...原创 2020-03-06 09:54:39 · 240 阅读 · 0 评论 -
机器学习-无监督学习3
主成分分析和奇异值分解降维分析简单介绍用少量的特征代替整体的特征方法类型主成分分析(Principal components analysis, PCA)线性判别分析(LDA)流形学习(局部线性嵌入-LLE,拉普拉斯特征映射)主成分分析概念化定义在多元统计分析中,PCA经常用于减少数据的维数,同时保持数据集中的对方差贡献最大的特征。这是通过保留低阶主成分,忽略高阶主成分做到...原创 2020-03-04 19:52:52 · 171 阅读 · 0 评论 -
机器学习-无监督学习2
层次聚类层次聚类方法对给定数据集进行层次的分解,直到满足某种条件为止。具体又可分为自下而上的凝聚方案和自上而下的分裂方案。凝聚的层次聚类一种自底向上的策略,首先将每个对象作为一个簇,然后合并这些原子簇为越来越大的簇,直到所有的对象都在一个簇中,或者某个终结条件被满足。代表算法:AGNES算法。分裂的层次聚类采用自顶向下的一个策略,首先将所有对象置于同一个簇中,然后逐步细分为越来越小...原创 2020-03-04 17:10:29 · 169 阅读 · 1 评论 -
机器学习-树模型
树模型(分类或回归)决策树树的基本结构示例定义决策树在分类问题中,表示基于特征对实例空间进行划分的方法。可以视为if-then规则的集合,也可以认为是定义在特征空间和类空间上的条件概率分布。步骤特征选择决定选取哪些特征来划分特征空间。先引入信息论概念:信息增益熵、条件概率、信息增益对信息增益进行特征选择选取信息增益最大的特征特征的信息增益算法计算数据集D的...原创 2020-03-03 15:28:46 · 931 阅读 · 0 评论 -
KNN算法
KNN算法也称为K近邻算法原理步骤优缺点优点:精度高,对异常值不敏感,无数据输入假定缺点:计算复杂度高,空间复杂度高适用数据范围:数值型和标称型...原创 2020-02-28 22:07:40 · 131 阅读 · 0 评论 -
机器学习-监督学习2
逻辑回归分类分类模型的结果输出为离散化,回归模型的输出为连续化。二分类或多分类预测一个用户是否点击特定的商品(点击/未点击)预测用户是否会购买给定的商品(购买/未购买)判断一条评论是正面的还是负面的(正面/负面)分类学习概念:在机器学习和统计中,分类根据包含已知类别成员的观察值(或实例)的训练数据集来确定新观测值所属的一组类别(子群)中的哪一个。举例:将给定的电子邮件分为“垃...原创 2020-02-28 21:47:32 · 227 阅读 · 0 评论