![](https://img-blog.csdnimg.cn/c5a0c53e9ba14309a9ed0a3deda343b2.png?x-oss-process=image/resize,m_fixed,h_224,w_224)
机器学习
文章平均质量分 63
机器学习相关
疯狂java杰尼龟
路漫漫其修远兮,吾将上下而求索
展开
-
pytorch入门第一课——基于线性模型的权重损失图
前言刘洪普老师的pytorch入门课笔记。记录学习。本文内容为简单的线性模型,绘制权重损失图。文章目录前言方法jupyter record总结方法Linear Model:y_hat = x * wMSE,Mean Square Error,平均平方损失:话不多说,直接上代码~jupyter recordimport torchimport matplotlib.pyplot as pltimport numpy as npx_data = [1.0,2.0,3.0]y_dat原创 2021-01-13 14:34:29 · 373 阅读 · 0 评论 -
分类和聚类的区别
分类是事先定义好类别 ,类别数不变 。需要提前训练分类器。聚类是无监督学习。聚类则没有事先预定的类别,类别数不确定。 聚类不需要人工标注和预先训练分类器,类别在聚类过程中自动生成 。参考:https://www.cnblogs.com/zhangjij/p/9962506.html...原创 2020-11-24 19:50:24 · 362 阅读 · 0 评论 -
pytorch入门第五课——逻辑斯蒂回归
前言b站刘洪普老师的pytorch入门课笔记。记录学习。本文内容为逻辑斯蒂回归示例。目录前言方法关于激活函数jupyter record总结方法逻辑斯蒂回归函数为:虽然它的名字中带有回归,但事实上它并不是一种回归算法,而是一种分类算法。它的优点是,它是直接对分类的可能性进行建模的,无需事先假设数据分布,这样就避免了假设分布不准确所带来的问题,因为它是针对于分类的可能性进行建模的,所以它不仅能预测出类别,还可以得到属于该类别的概率。关于激活函数一个函数是否是激活函数需要看三点,而逻辑斯蒂曲线原创 2021-01-15 11:15:35 · 271 阅读 · 0 评论 -
Detecting Spacecraft Anomalies Using LSTMs and Nonparametric Dynamic Thresholding
第一作者信息:Kyle HundmanNASA Jet Propulsion LaboratoryCalifornia Institute of Technologykyle.a.hundman@jpl.nasa.gov之前周报做的ppt,分享于此。注:本篇论文已上传到资源,需要的童鞋可免费下载。博主研究方向为时间序列的异常检测,欢迎交流。知识浅薄,如有错误之处,欢迎指正交流~...原创 2020-11-07 22:02:58 · 749 阅读 · 3 评论 -
深度学习 通俗理解——非常适合新手
前言读到这篇深度学习的通俗理解文章,觉得不错,分享于此,非常适合刚刚学习机器学习深度学习的小伙伴。特别说明:本文对深度学习的概念阐述刻意避免了数学公式和数学论证。从根本上说,深度学习和所有机器学习方法一样,是一种用数学模型对真实世界中的特定问题进行建模,以解决该领域内相似问题的过程。首先,深度学习是一种机器学习。既然名为“学习”,那自然与我们人类的学习过程有某种程度的相似。回想一下,一个人类小朋友是如何学习的?人类小朋友是如何学习的?机器又是如何学习的?比如,很多小朋友都用识字卡片来认字。从古转载 2020-10-21 14:03:16 · 2172 阅读 · 1 评论 -
pytorch入门第三课——反向传播(Back Propagation)
前言b站刘洪普老师的pytorch入门课笔记。记录学习。本文内容为反向传播的梯度计算,绘制迭代-损失图。目录前言方法jupyter record总结方法更小的损失 = 更好的效果,即训练阶段更新权重w的大小,反向传播可以实现这个过程。jupyter record话不多说,上代码~import torchimport matplotlib.pyplot as pltimport numpy as npx_data = [1.0,2.0,3.0]y_data = [2.0,4.0,6原创 2021-01-13 17:26:28 · 626 阅读 · 1 评论 -
GBDT算法(最简单)
https://github.com/NLP-LOVE/ML-NLP/blob/master/Machine%20Learning/3.2%20GBDT/3.2%20GBDT.md1. 解释一下GBDT算法的过程GBDT(Gradient Boosting Decision Tree),全名叫梯度提升决策树,使用的是Boosting的思想。1.1 Boosting思想Boosting方法训练基分类器时采用串行的方式,各个基分类器之间有依赖。它的基本思路是将基分类器层层叠加,每一层在训练的时候,对前一转载 2020-10-19 17:13:28 · 8962 阅读 · 2 评论 -
查看pytorch版本的方法
方法import torchprint(torch.__version__) #注意是双下划线在Anaconda Powershell Prompt环境下jupyter notebook 下实现类似的可以在idle中查看原创 2021-01-20 10:57:31 · 6042 阅读 · 0 评论 -
pytorch入门第六课——多维数据的计算过程
计算过程首先,所以,其中,故,Mini-Batch其中,所以,代码我的数据是在F:\Anaconda3_5.3.1\Lib\site-packages\sklearn\datasets\data\diabetes_data.csv.gz其中gz(gzip)文件是linux下的压缩格式,可以采用常用的7z解压...原创 2021-01-18 13:39:31 · 507 阅读 · 3 评论 -
分类模型常见F1分数、精确率、召回率、正确率、虚警率和漏检率、平衡精度、AUC等性能评价指标
目录1、常见的几种预测情况2、精确率和召回率(Precision And Recall)3、F1-分数(F1-Score)4、其他常见性能评价指标1、常见的几种预测情况TP ,True Positive,表示把正类预测为正类TN,True Negative,表示把负类样本预测为负类FP,False Positive,表示把负类预测为正类FN,False Negative,表示把正类预测为负类。“狼来了”的故事模型2、精确率和召回率(Precision And Recall)精确度/精确率(原创 2020-10-15 11:32:36 · 7806 阅读 · 0 评论 -
pytorch入门第七课——数据集加载器
前言b站刘洪普老师的pytorch入门课笔记。记录学习。本文内容为数据集的加载器示例。Mini-Batch中常见的词汇:1、Epoch:训练阶段一次前馈和方向传播2、Batch-size:训练阶段一次前向和方向传播的训练样本的数量3、Iteration:假设样本总数为1w,Batch-size为1000,那么Iteration = 10000/1000 = 10import torchfrom torch.utils.data import Dataset #Dataset是一个抽象类,不能原创 2021-01-18 16:23:20 · 201 阅读 · 0 评论 -
Transfer Learning based Failure Prediction for Minority Disks in Large Data Centers of Heterogene..
本篇文章研究内容为”迁移学习+少数磁盘故障预测”。TLDFP原创 2020-10-26 10:28:01 · 679 阅读 · 4 评论 -
TensorFlow中loss与val_loss、accuracy和val_accuracy分别是什么含义
loss:训练集损失值 accuracy:训练集准确率 val_loss:测试集损失值 val_accruacy:测试集准确率 以下5种情况可供参考: train loss 不断下降,test loss不断下降,说明网络仍在学习;(最好的) train loss 不断下降...转载 2021-06-24 17:39:38 · 2687 阅读 · 0 评论 -
pytorch入门第二课——随机梯度下降(SGD)
前言b站刘洪普老师的pytorch入门课笔记。记录学习。本文内容为梯度下降算法,绘制迭代-损失图。目录前言方法jupyter record梯度下降随机梯度下降法SGD(stochastic gradient descent)(使用较多)总结参考方法梯度下降的思想:随机选择一个方向,然后每次迈步都选择最陡的方向,直到这个方向上能达到的最低点。有时候需要对原始的模型构建损失函数,然后通过优化算法对损失函数进行优化,以便寻找到最优的参数,使得损失函数的值最小。Gradient:原创 2021-01-14 10:42:30 · 2548 阅读 · 2 评论 -
深度学习数据处理(可执行代码)
常见方法包含import,可直接运行(贴心不~)遍历单个文件所含文件列表注意:该方法对目标文件夹中所包含的文件夹不起作用,一般用来展示多个csv文件import osdef files_path(rootpath): path_list = [] if os.path.exists(rootpath): dirs = os.listdir(rootpath)#用于返回指定的文件夹包含的文件、即包含的文件夹的名字的列表 dirs.sort()#作原创 2021-03-15 10:30:33 · 606 阅读 · 1 评论 -
各种机器学习分类模型的优缺点
KNN: 依赖数据,无数学模型可言。适用于可容易解释的模型。 对异常值敏感,容易受到数据不平衡的影响。 Bayesian: 基于条件概率, 适用于不同维度之间相关性较小的时候,比较容易解释。也适合增量训练,不必要再重算一遍。应用:垃圾邮件处理。 Decision Tree: 此模...转载 2020-11-19 16:14:27 · 2378 阅读 · 0 评论 -
Lifelong Disk Failure Prediction via GAN-based Anomaly Detection
论文来源:ICDD作者:jiangtianming华中科技大学Email:jiangtianming@hust.edu.cn注:本篇论文已上传到资源,需要的童鞋可免费下载。前面发的两篇论文分析访问量比较低,这一篇我希望用自己的语言来把文章的思想说清楚。请君仔细阅读。目录0、论文方法一、时序特征二、数据预处理1、选取特征2、二维特征3、正则化模型1、模型老化问题2、样本标记0、论文方法以上的方法其实也说明白了异常检测的思路。首先进行数据预处理,将SMART数据映射到类似图像的二维数据.原创 2020-11-05 15:40:07 · 582 阅读 · 4 评论 -
一种硬盘故障预测的非监督对抗学习方法
最近准备开题答辩了,把之前阅读过的论文整理一下,加深理解。本文关键词:领域:异常检测,深度学习方法:非监督对抗学习场景:硬盘故障检测网络结构:基于LSTM自编码器与生成式对抗网络相结合数据集:BackBlaze作者信息:姜少彬(1991—)国防科技大学硕士研究生E-mail:jiangshaobin1991@163.com论文主要方法采用非监督对抗学习的好处,由于训练阶段未用到异常样本(即正样本),模型不受样本不均衡的影响,很好的避免了由于训练样本不均衡导致的过拟合问题。已有研原创 2020-10-15 14:32:55 · 551 阅读 · 1 评论 -
pytorch入门第四课——线性回归
前言b站刘洪普老师的pytorch入门课笔记。记录学习。本文内容为线性回归示例。目录前言jupyter record参考jupyter record无需人工求梯度下降的导数,直接应用pytorch中的方法构造计算图即可。1、module所有的类都要继承于神经网络的基类nn.Module2、loss3、sgd optimizer训练过程为前馈,反馈,更新。import matplotlib as pltimport torchx_data = torch.Tensor([[1.0]原创 2021-01-14 17:15:02 · 142 阅读 · 2 评论