使用Python+Pycaret进行异常检测(附代码演练)

概述

• 通过探索性异常检测分析了解异常

• 设置 PyCaret 环境并尝试准备任务的各种数据

• 比较性能并可视化不同的异常检测算法

介绍

异常检测提供了在数据中发现模式、偏差和异常的途径，这些模式、偏差和异常不限于模型的标准行为。异常检测旨在确定数据中的异常情况。这些异常也被称为数据集的异常值。

随着数据呈指数级增长，分析数据并得出形成重要业务决策基础的见解已成为一种普遍趋势。我们不仅需要分析数据，还需要准确地解释数据。找出异常并确定异常行为可以让我们找到最佳解决方案。

异常检测可以应用于各种领域。下面列出了其中一些。

• 网络安全 — 监控网络流量并确定异常值

• 欺诈检测—— 可以识别信用卡欺诈

• IT 部门 —发现并应对意外风险

• 银行业务—— 确定异常交易行为

许多机器学习算法可用于异常检测，它在检测和分类复杂数据集中的异常值方面起着至关重要的作用。

为什么是 PyCaret？

PyCaret是一个开源、低代码的 Python 机器学习库，支持多种功能，例如在几行代码中就可以为部署建模的数据准备。

PyCaret 提供的一些的功能包括 -

• 它是一个灵活的低代码库，可以提高生产力，从而节省时间和精力。

• PyCaret 是一个简单易用的机器学习库，使我们能够在几分钟内执行 ML 任务。

• PyCaret 库允许自动化机器学习步骤，例如数据转换、准备、超参数调整和标准模型比较。

学习目标

• 执行探索性异常检测分析

• PyCaret 环境介绍

• 创建和选择最佳模型

• 比较模型中的异常

• 可视化和解释模型

PyCaret 安装

在你的 jupyter notebook 中安装最新版本的 Pycaret 并开始使用！

pip3 install pycaret

数据导入

让我们从 PyCaret 预先配置的数据集中导入一个常见的异常检测数据集，开始我们的动手项目。

导入必要的库

首先，导入整个项目所需的必要库。

import matplotlib.pyplot as plt
import seaborn as sns
import pandas as pd
import numpy as np

导入数据集

from pycaret.datasets import get_data
all_datasets = get_data(‘index’)

现在我们可以看到所有列出的具有默认机器学习任务的数据集。

我们只需要访问通过get_data()函数可以获得的异常数据。

df = get_data(‘anomaly’)
df.head()

</