lbweiwan-CSDN博客

原创数据质量分析与预处理

数据质量分析与预处理异常值分析与处理1.1 异常值分析（1）最小、最大值分析（超出合理范围的值为异常值，如年龄为200岁）（2）空值、缺失值分析（空值与缺失值为异常值，最常用的处理缺失值的方法有拉格朗日插值法、牛顿插值法等，对于缺失值太多，也可根据实际业务情况去除该字段）（3）箱型图分析（定义小于Ql-1.5IQR或者大于Qu+1.5IQR的值为异常值，其中，Ql为下四分位数，Qu为上...

2018-09-22 14:37:12 1160

K-means聚类分析，并用t-SNE可视化聚类结果k-means算法，即k-均值聚类，也叫快速聚类算法，在最小化误差函数的基础上将数据划分为预定的类数k。t-SNE属于非线性降维，具体需要研究算法原理的博友可以参考http://www.datakit.cn/blog/2017/02/05/t_sne_full.html和https://blog.csdn.net/hustqb/article...

2018-09-18 16:29:01 41320 13

原创浅谈PCA（主成分分析）线性降维算法用法

PCA是一种线性降维算法，想要了解其基本原理的博友，建议到此博客（https://blog.csdn.net/Mr_tyting/article/details/76070436）去研读原理。sklearn.decomposition.PCA(n_components = None, copy = True, whiten = False)n_components表示需要保留的主成分个数，...

2018-09-17 16:33:18 1783

原创 Apriori算法

学习Apriori算法首先要了解几个概念：项集、支持度、置信度、最小支持度、最小置信度、频繁项集。项集：顾名思义，即项的集合。eg：牛奶、面包组成一个集合{牛奶、面包}，其中牛奶和面包为项，{牛奶、面包}为项集，称之为2项集。（说白了，其实就是集合）支持度：项集A、B同时发生的概率称之为关联规则的支持度。置信度：项集A发生的情况下，则项集B发生的概率为关联规则的置信度。支持度与置信...

2018-09-17 12:04:47 79431 24

原创 numpy、pandas学习

numpy、pandas学习本文主要是此前学习莫烦python的笔记，及个人的部分修改与注释，特发此博与大家分享。此为莫凡python学习链接：https://morvanzhou.github.io/tutorials/data-manipulation/np-pd/#numpy中arrary与pandas中series、DataFrame区别#arrary生成数组，无索引、列名；...

2018-09-14 16:05:26 889

原创逻辑回归之银行贷款拖欠数据

本例来自于张良均等著《python数据分析与挖掘》逻辑回归之银行贷款拖欠数据逻辑回归属于概率型非线性回归，因变量取值一般为是和否（0或1）。线性回归、非线性回归皆是基于最小二乘法的、逻辑回归，当自变量之间出现多重共线性时，则要用岭回归和主成分回归。所谓的多重共线性是指一些自变量之间存在较强的线性关系。如研究高血压与年龄、吸烟年限、饮白酒年限等因素的关系，这些自变量通常是相关的，如果这种...

2018-09-13 13:59:26 2323 1

原创 python基础之列表

本文为个人学习python基础的笔记，分享大家，方便大家学习。列表 ”’列表创建list1 = [] ;list1 = list() list2 = [2,3,4] ;list2 =list([2,3,4]) list3 = [“红”,”黄”,”蓝”] ;list3 =list([“红”,”黄”,”蓝”]) list4 = [...

2018-09-01 17:53:29 268

lbweiwan的博客