数据挖掘技术
主要介绍数据挖掘相关的算法或者知识
Auraros
gdut一个正在艰苦转行的孩子
展开
-
数据处理(二):数据预处理
数据处理(二):数据预处理由于数据挖掘中,海量的原始数据有很多不完整,会导致数据挖掘的结果产生偏差。所欲需要对数据进行数据预处理。数据预处理主要包括:数据清洗数据集成数据变换数据规约1.数据清洗数据清洗主要是**删除原始数据集中的无关数,重复数据,平滑噪声处理,筛选掉与挖掘主题无关的数据,处理缺失值,异常值等1.1 缺失值处理缺失值处理可分为三类:删除记录数据插补不处...原创 2019-04-10 21:30:03 · 2260 阅读 · 2 评论 -
数据处理(一):数据质量分析
数据处理(一):数据质量分析导入数据空值分析异常值分析数据特征分析数据质量分析是数据挖掘中数据准备过程中的重要一环,是数据预处理的前提,也是数据挖掘分析结论有效性和准确性的基础。数据质量分析主要任务是检查原始数据中是否存在脏数据,脏数据指的是不符合要求,以及不能直接进行分析的数据。常见的脏数据包括如下:1.缺失值2.异常值3.不一致的值4.重复数据及含有特殊符号(如#,¥,...原创 2019-04-09 10:24:02 · 5249 阅读 · 1 评论 -
拉格朗日乘子法(简单易懂的说明)
拉格朗日乘子法(Lagrange Multiplier) 之前在高中就有一直听到拉格朗日,拉格朗日是一个很牛逼哄哄的大佬。在学习SVM的时候,居然也见到了他的身影。让我们了解一下拉格朗日乘子法的具体内容。 在学习过程中,有时会遇到一些最优化问题。这里提到的最优化问题通常是指对于给定的某一函数,求其在指定作用域上的全局最小值(无论最大最小值都可以转化为最小值),二者均是求解最优化问题的方法不同之...原创 2019-08-04 16:09:04 · 25015 阅读 · 5 评论 -
数据挖掘pandas技巧(一):groupby
数据挖掘pandas技巧(一):groupby介绍python跟其他语言不相同的地方就是有着千千万万个函数,你不可能全部学得完。所以,在日常生活中,要多去学习和回顾一下python中的新函数,新操作,这样不会让你的代码质量停滞不前。本文主要介绍groupby函数的使用。这几个函数作用类似,都是对数据集中的一类属性进行聚合,分组运算操作。groupbyimport pandas as pd...原创 2019-08-06 15:29:09 · 518 阅读 · 0 评论 -
数据挖掘pandas技巧(二):apply和applymap
数据挖掘pandas技巧(二):apply和applymap在介绍apply之前,看一下apply,applymap,map的运用:apply:用在dataframe上,用于对row或者column进行计算;applymap:用于dataframe上,是元素级别的操作;map:(python自带的)用于series上,是元素级别的操作。首先先建立一个Dataframe:df = p...原创 2019-08-06 15:48:49 · 226 阅读 · 0 评论