Datawhale 异常检测学习笔记

最新推荐文章于 2024-09-25 22:01:50 发布
最新推荐文章于 2024-09-25 22:01:50 发布
阅读量168 收藏
点赞数
文章标签： 自然语言处理 数据挖掘
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/cmsb250/article/details/112643114
版权

 异常检测，学习笔记：

第一天：了解了学习规则和学习任务，完成了群名片修改，认识了新朋友；

第二天学习笔记：

完成了task1的任务，即论文数据统计 ，主要是学习pandas的使用方法和数据可视化，

python使用还不是很熟练，因此继续加强python的练习。之后学习了数据预处理，

包括统计不同类别的数据分类，其中split函数功能很强大。了解了异常检测的定义和类别，异常检测的任务分类，

学习了异常检测的常用方法，包括传统的方法，传统的方法主要由基于统计学习的方法，线性模型和基于相似度的方法，

第二类方法是集成方法，包括孤立森林；

第三种方法是机器学习；

接下来，我了解了异常检测常用开源库由scikit-learn 以及pyOD,接下来学习了pyod库的基本操作。

第三天学习了线性模型，主要包括线性回归和主成分分析法：具体内容有：

(1) 线性模型的相关理论

(2)数据可视化的相关理论和操作 

(3)线性回归的理论介绍，其中包括最小二乘法和梯度下降法 

主成分分析法：

原理推导，和归一化等问题；

目前还在学习中，学习速度比较慢，基础比较差 ，前几天打卡没打上，抱歉了~

 

 

 

杜琪峰
关注
Datawhale#25开源学习_异常检测
ZZYNDY的博客
05-11 149
一、课程参考资料 https://github.com/datawhalechina/team-learning-data-mining/tree/master/AnomalyDetection PS：每一章教程后还有拓展阅读材料，最好结合起来学习，形成自己的理解！ 二、学习时间节点 Task 00：熟悉规则 截止日期：2021/05/10 02:59:00 Task 01：异常检测介绍 截止日期：2021/05/12 02:59:00 Task 02：基于统计学的方法 截止日期：202
PCA异常检测（主成分分析）及Encoder -Decoder模型异常检测的一点理解
m0_58174979的博客
07-17 669
注：个人入门理解，如有问题，恳请指正！ PCA异常检测主要步骤是一个降维再升维然后比较生成的向量与原始向量的差别。 降维：利用PCA的原理降维，求方差贡献度，载荷矩阵。讲方差贡献度大的特征（主成分）保留视为重要特征，将不重要的特征丢掉。得到一个损失一定信息的低维向量（阉割版哈哈哈）。 升维：根据针对前面大量的向量PCA降维得出的经验（主成分载荷矩阵），对降维后的向量再逆运算升维，但是需要注意的是这里虽然升维了但是降维时丢掉的特征并没有添加回来。 对比：升维后得到和原始向量同等规模的向量，两者比.
数据分析--异常值处理
热门推荐
weixin_40444270的博客
10-04 1万+
原文链接：https://blog.csdn.net/qq_41080850/article/details/86695846 1 什么是异常值？ 模型通常是对整体样本数据结构的一种表达方式，这种表达方式通常抓住的是整体样本一般性的性质，而那些在这些性质上表现完全与整体样本不一致的点，我们就称其为异常点 异常点在某些场景下极为重要，如疾病预测，通常健康人的身体指标在某些维度上是相似，如果一个人的身体指标出现了异常，那么他的身体情况在某些方面肯定发生了改变，当然这种改变并不一定是由疾病引起（通常被称为
PCA（主成分分析）原理详解与python实现
litt1e的博客
01-14 4056
PCA是一种数据降维的方法。当我们在处理一些高维且冗余数据时，可以使用PCA对数据进行降维，去除冗余信息，提高运行速度。如上图所示，左边3D图像，存在大量冗余数据，我们把这样的数据转移到2D可以更加清晰的观察数据本身，同时降低计算复杂度。 1.PCA原理详解 如果我们要对上图二维空间的特征点做特征降维，那怎样的降维结果对我们来说是好的呢？其实，二维特征降维就是找坐标系投影，如图可以看到红色箭头与黄色箭头两个坐标轴。如果我们将特征映射到黄色轴，二维特征点将会大量重叠在黄色轴上，损失大量原始信息是我们不想见.
Datawhale AI夏令营学习笔记 （3）
Kesenal的博客
07-20 1060
本篇中我们完成了对机器学习的优化与深度学习的尝试，我们在此过程中学到了很多东西！未来，也许我们还会对这两部分进行优化......！！#机器学习 #电力预测赛 #Datawhale AI夏令营。
Datawhale AI 夏令营CV项目学习笔记
qq_41821483的博客
07-17 930
项目。
Datawhale AI夏令营Task1学习笔记
m0_73903544的博客
07-14 668
在深度学习中，模型训练通常需要进行多次迭代，而不是单次完成。深度学习模型的训练本质上是一个优化问题，目标是最小化损失函数。梯度下降算法通过计算损失函数相对于模型参数的梯度来更新参数。由于每次参数更新只能基于一个数据批次来计算梯度，因此需要多次迭代，每次处理一个新的数据批次，以确保模型在整个数据集上都能得到优化。
Datawhale AI 夏令营 task1 学习笔记
qq_43853937的博客
07-14 294
1.了解到了，kaggle的免费算力资源。平时会使用colab和实验室的服务器，当实验室服务器出问题或者colab时限到的时候会不知所措。（目前实验室服务器中毒，单靠colab那点儿算力根本不够用）算是为我提供了一点小小的帮助，毕竟蚊子腿也是肉，哈哈哈。2.我的研究方向是扩散模型及其优化，也曾参与过AI图像异常检测的项目。然而，这次的Deepfake项目与之前的异常检测有所不同。在过去的工厂不良品检测中，错误是显而易见的，异常情况是无可争议的。
datawhale ai 夏令营学习笔记第三期 --深度学习在时间序列预测中的应用
addminister的博客
07-20 220
【代码】datawhale ai 夏令营学习笔记第三期 --深度学习在时间序列预测中的应用。
Task 03 线性回归&主成分分析（PCA）之异常检测 学习笔记
AI_SupplyChain的博客
05-18 1515
线性回归&主成分分析（PCA）之异常检测 1 基础知识 1.1 前提假设 利用线性回顾和主成分分析进行异常检测需要有两个前提假设： 1、近似线性相关假设。是利用线性回归和PCA进行异常检测的理论基础 2、子空间假设。子空间假设惹味数据是内嵌在低维度空间之中，线性方法目的是找到合适的低维子空间 使得异常点在其中区别于正常点。 1.2 主成分分析法 ​ 主成分分析法是最常用的线性降维方法，主要原理是通过某种线性投影，将高维的数据映射到低维度的空间中表示，并期望在所投影的维度上-数据的方差最大，以此
异常检测笔记05高维异常
ritatype的博客
01-19 380
异常检测笔记05高维异常 高维数据异常检测：feature bagging和孤立森林 1. 集成 集成是子空间思想中常用的方法之一，可以有效提高数据挖掘算法精度。集成方法将多个算法或多个基检测器的输出结合起来。其基本思想是一些算法在某些子集上表现很好，一些算法在其他子集上表现很好，然后集成起来使得输出更加鲁棒。集成方法和基于子空间方法有着天然的相似性，子空间与不同的点集相关，而集成方法使基检测器来探索不同维度的子集，将这些基学习器集合起来。 2.Feature Bagging 步骤： 1.选择基检测器
Pytorch图像分类实战笔记Task01-Task07|Datawhale组队学习
weixin_45480097的博客
01-17 874
将数据集统一命名为数字-->获得文件名列表full_dataset-->打乱列表random_dataset-->set train_rate = 0.8,train_dataset = random_dataset[:int(full_dataset)*0.8],test_dataset =random_dataset[int(full_dataset)*0.8:] -->移动文件。文件：gif格式的、非三通道图片（三通道图可以是彩色图，可以是灰度模式的图像。第一步，导入所需要的库。
【机器学习笔记】可解释机器学习-学习笔记 Interpretable Machine Learning (Deep Learning)
VentusDeus的博客
12-13 839
可解释机器学习-笔记和代码
金融风控-贷款违约预测学习笔记(Part1：赛题理解)
不想做数分的码农不是好运营
09-15 1892
金融风控-贷款违约预测学习笔记（Part1赛题理解）1.关于项目1.1 项目背景1.2 项目数据集说明2. 项目初探2.1 项目理解2.1.1 个人理解2.1.2 知识补充2.1.3 分类指标评价计算示例2.2 查看数据集 1.关于项目 1.1 项目背景 这是一个由Datawhale与天池联合发起的金融风控相关赛事。 赛题以金融风控中的个人信贷为背景，要求选手根据贷款申请人的数据信息预测其是否有违约的可能，以此判断是否通过此项贷款，这是一个典型的分类问题。 赛题目标是预测用户贷款是否会违约。提交结果为
SGLang——结构化语言模型程序的高效执行
知来者逆的博客
09-23 1115
实验表明，与各种大型语言和多模态模型上的最先进推理系统相比，SGLang 实现了高达 6.4 倍的吞吐量，可处理代理控制、逻辑推理、小样本学习基准、JSON 解码、检索增强生成管道和多轮聊天等任务。实验表明，与各种大型语言和多模态模型上的最先进推理系统相比，SGLang 实现了高达 6.4 倍的吞吐量，可处理代理控制、逻辑推理、小样本学习基准、JSON 解码、检索增强生成管道和多轮聊天等任务。较大模型的加速趋势与较小模型的加速趋势相似，表明 SGLang 的优化可以很好地推广到较大的模型。
【NLP】基于“检测器-纠错器”中文文本纠错框架
最新发布
余俊晖，NLP炼丹师，目前专注自然语言处理领域研究。曾获得国内外自然语言处理算法竞赛TOP奖项近二十项。
09-25 943
许多方法将中文拼写纠正（检测和纠正给定中文句子中的错误字符）视为序列标注任务，并在句子对上进行微调。一些方法使用错误检测器作为初步任务，然后将检测结果用于辅助后续的错误纠正过程。然而，现有方法在使用检测器时存在一些问题，如检测器性能不足或检测信息未能有效应用于纠正过程。难点：中文拼写纠正的难点在于中文是由象形文字组成的，字符的形状和发音与其意义密切相关。此外，中文句子通常由连续的字符组成，没有分隔符，这使得CSC方法必须基于上下文信息来辨别错误，而不是直接从独立的词语中查找拼写错误。
[大语言模型-论文精读] MoRAG - 基于多部分融合的检索增强型人体动作生成
09-24 1089
如何利用检索增强型方法来提升文本驱动的人体动作生成任务的性能？这篇论文提出MoRAG框架能够显著提高动作生成任务的性能，尤其是在处理复杂或未见过的文本描述时。 人工智能，大语言模型，运动生成，运动扩散模型。
【NLP】循环神经网络--RNN学习.day3
alb3117149013的博客
09-25 1055
循环神经网络（Recurrent Neural Network, RNN）是一种用于处理序列数据的深度学习模型。与传统的静态神经网络相比，RNN 可以有效处理输入数据的时间序列特性。这使得 RNN 在处理自然语言处理（NLP）、时间序列预测、音频处理等任务时非常有效。以下是对 RNN 的详细解释。
异常检测与监督学习对比：机器学习课程笔记
"这篇资料是关于异常检测与监督学习的对比分析，结合了斯坦福大学2014年机器学习课程的个人笔记，探讨了两种机器学习方法在处理数据时的不同之处，以及如何选择适用的方法。同时，资料还涵盖了广泛的机器学习主题，...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值