python数据分析与实战_Python数据分析与挖掘实战 - 随笔分类 - 进击的小猴子 - 博客园...

摘要：一、背景和挖掘目标 二、分析方法与过程 1、数据获取 2、数据预处理 1.筛选有效问卷（根据表8-6的标准） 共发放1253份问卷，其中有效问卷数为930 2.属性规约 3.数据变换 3、模型构建 首先准备apriori.py，代码没看懂，不过可以直接调用

阅读全文

posted @ 2019-03-12 15:40

进击的小猴子

阅读(1204)

评论(0)

推荐(0) 编辑

摘要：一、背景和挖掘目标 二、分析方法与过程 客户价值识别最常用的是RFM模型（最近消费时间间隔Recency，消费频率Frequency，消费金额Monetary） 1、EDA（探索性数据分析） 2、数据预处理 1.数据清洗 票价为空表示该值缺失，票价为0表示飞这一趟没花钱，二者概念不同 2.属性规约

阅读全文

posted @ 2019-03-06 20:41

进击的小猴子

阅读(5799)

评论(1)

推荐(0) 编辑

摘要：一、背景与挖掘目标 相关背景自查 二、分析方法与过程 1、EDA（探索性数据分析） 1.分布分析 2.周期性分析 2、数据预处理 1.数据清洗 过滤非居民用电数据，过滤节假日用电数据（节假日用电量明显低于工作日） 2.缺失值处理 3.数据变换 以线损指标为例，可自定义为 通过这种方式，将上面各种复杂

阅读全文

posted @ 2019-03-01 11:43

进击的小猴子

阅读(2326)

评论(0)

推荐(0) 编辑

摘要：四、关联规则 Apriori算法代码（被调函数部分没怎么看懂） 五、时序模式 以下代码全程懵逼 六、离群点检测 七、小结

阅读全文

posted @ 2019-02-28 09:39

进击的小猴子

阅读(604)

评论(0)

推荐(0) 编辑

摘要：一、分类和回归 回归分析研究的范围大致如下： 1、逻辑回归 2、决策树 运行上述代码，生成tree.dot文件，对其稍作修改 得到决策树的可视化 3、人工神经网络 二、评价指标 Accuracy表示你有多少比例的样本预测对了 Precision表示你预测为正的样本中有多少预测对了，又称为查准率 Re

阅读全文

posted @ 2019-01-27 20:53

进击的小猴子

阅读(425)

评论(0)

推荐(0) 编辑

摘要：数据预处理主要包括数据清洗、数据集成、数据变换和数据规约，处理过程如图所示。 一、数据清洗 1.缺失值处理：删除、插补、不处理 ## 拉格朗日插值代码（使用缺失值前后各5个未缺失的数据建模） 2.异常值处理 3.数据变换 1）函数变换：将不具有正态分布的数据变换成正态分布的数据 2）规范化/归一化：

阅读全文

posted @ 2019-01-22 20:50

进击的小猴子

阅读(427)

评论(0)

推荐(1) 编辑

摘要：1、缺失值处理：删除、插补、不处理 2、离群点分析：简单统计量分析、3σ原则（数据服从正态分布）、箱型图（最好用） 离群点（异常值）定义为小于QL-1.5IQR或大于Qu+1.5IQR 3、贡献度分析（帕累托分析，20/80定律） 4、相关性分析（以餐饮数据为例） 导入数据 求相关系数的三种方式 5

阅读全文

posted @ 2018-11-30 22:39

进击的小猴子

阅读(492)

评论(0)

推荐(0) 编辑

摘要：《Python数据分析与挖掘实战》的数据和代码，可从“泰迪杯”竞赛网站（http://www.tipdm.org/tj/661.jhtml）下载获得 1、Python数据结构 2、Numpy数组 3、Scipy矩阵 4、Matplotlib可视化 5、Pandas数据分析和探索 Pandas基本数据

阅读全文

posted @ 2018-11-27 14:01

进击的小猴子

阅读(581)

评论(3)

推荐(0) 编辑