youif的博客

在拿到一份数据准备做挖掘建模之前，首先需要进行初步的数据探索性分析，对数据探索性分析之后要先进行一系列的数据预处理步骤。因为拿到的原始数据存在不完整、不一致、有异常的数据，而这些“错误”数据会严重影响到数据挖掘建模的执行效率甚至导致挖掘结果出现偏差，因此首先要数据清洗。数据清洗完成之后接着进行或者同时进行数据集成、转换、归一化等一系列处理，该过程就是数据预处理。一方面是提高数据的质量，另一方面可以让数据更好的适应特定的挖掘模型，在实际工作中该部分的内容可能会占整个工作的70%甚至更多。

在拿到一份数据准备做挖掘建模之前，首先需要进行初步的数据探索性分析，对数据探索性分析之后要先进行一系列的数据预处理步骤。因为拿到的原始数据存在不完整、不一致、有异常的数据，而这些“错误”数据会严重影响到数据挖掘建模的执行效率甚至导致挖掘结果出现偏差，因此首先要数据清洗。数据清洗完成之后接着进行或者同时进行数据集成、转换、归一化等一系列处理，该过程就是数据预处理。一方面是提高数据的质量，另一方面可以让数据更好的适应特定的挖掘模型，在实际工作中该部分的内容可能会占整个工作的70%甚至更多。系列文章第1章.

在拿到一份数据准备做挖掘建模之前，首先需要进行初步的数据探索性分析，对数据探索性分析之后要先进行一系列的数据预处理步骤。因为拿到的原始数据存在不完整、不一致、有异常的数据，而这些“错误”数据会严重影响到数据挖掘建模的执行效率甚至导致挖掘结果出现偏差，因此首先要数据清洗。数据清洗完成之后接着进行或者同时进行数据集成、转换、归一化等一系列处理，该过程就是数据预处理。一方面是提高数据的质量，另一方面可以让数据更好的适应特定的挖掘模型，在实际工作中该部分的内容可能会占整个工作的70%甚至更多。

在拿到一份数据准备做挖掘建模之前，首先需要进行初步的数据探索性分析，对数据探索性分析之后要先进行一系列的数据预处理步骤。因为拿到的原始数据存在不完整、不一致、有异常的数据，而这些“错误”数据会严重影响到数据挖掘建模的执行效率甚至导致挖掘结果出现偏差，因此首先要数据清洗。数据清洗完成之后接着进行或者同时进行数据集成、转换、归一化等一系列处理，该过程就是数据预处理。一方面是提高数据的质量，另一方面可以让数据更好的适应特定的挖掘模型，在实际工作中该部分的内容可能会占整个工作的70%甚至更多。

文章目录第5章 合并一、append与assign1. append方法2. assign方法二、combine与update1. comine方法2. update方法三、concat方法四、merge与join1. merge函数2. join函数第5章 合并import numpy as npimport pandas as pddf = pd.read_csv('data/table.csv')df.head()一、append与assign1. append方法（a）利用序列添

Numpy我们要开始接触高效计算库Numpy了，你要是之前在实验室用MATLAB之类的语法，你会发现Numpy和它们长得不要太像，爱MATLAB的同学，参考文档可以看这里python里面调用一个包，用import对吧, 所以我们import numpy 包:import numpy as npArrays/数组看你数组的维度啦，我自己的话比较简单粗暴，一般直接把1维数组就看做向量/ve...

Python介绍如果你问我没有编程基础，相学习一门语言，我一定会首推给你Python类似伪代码的书写方式，让你能够集中精力去解决问题，而不是花费大量的时间在开发和debug上同时得益于Numpy/Scipy这样的科学计算库，使得其有非常高效和简易的科学计算能力。而活跃的社区提供的各种可视化的库，也使得数据挖掘的全过程(数据采集，数据清洗，数据处理，建模，可视化)可以非常流畅地完成。这个教...

文章目录第4章 变形一、透视表1. pivot2. pivot_table3. crosstab（交叉表）二、其他变形方法1. melt2. 压缩与展开三、哑变量与因子化1. Dummy Variable（哑变量）2. factorize方法Python火了，作为一门万能语言，Python迷人之处在于非常高效。在日常工作中，很多琐事都是要重复操作的，重复的工作会将你留个自己思考进步的时间都会占用，从而成为一个职场螺丝钉。而Python自动化办公，可以轻松将工作中繁杂且重复的内容通过简短的代码让计算机自动

文章目录第3章 分组一、SAC过程1. 内涵2. apply过程二、groupby函数1. 分组函数的基本内容：2. groupby对象的特点三、聚合、过滤和变换1. 聚合（Aggregation）2. 过滤（Filteration）3. 变换（Transformation）四、apply函数1. apply函数的灵活性2. 用apply同时统计多个指标第3章 分组import numpy as npimport pandas as pddf = pd.read_csv('data/table.cs

在拿到一份数据准备做挖掘建模之前，首先需要进行初步的数据探索性分析，对数据探索性分析之后要先进行一系列的数据预处理步骤。因为拿到的原始数据存在不完整、不一致、有异常的数据，而这些“错误”数据会严重影响到数据挖掘建模的执行效率甚至导致挖掘结果出现偏差，因此首先要数据清洗。数据清洗完成之后接着进行或者同时进行数据集成、转换、归一化等一系列处理，该过程就是数据预处理。一方面是提高数据的质量，另一方面可以让数据更好的适应特定的挖掘模型，在实际工作中该部分的内容可能会占整个工作的70%甚至更多。

文章目录第1章 Pandas基础查看Pandas版本一、文件读取与写入1. 读取（a）csv格式（b）txt格式（c）xls或xlsx格式2. 写入（a）csv格式（b）xls或xlsx格式二、基本数据结构1. Series（a）创建一个Series对于一个Series，其中最常用的属性为值（values），索引（index），名字（name），类型（dtype）（b）访问Series属性（c）取...