数据挖掘
唐唐的世界
这个作者很懒,什么都没留下…
展开
-
python3 读入csv文件报错('utf-8' codec can't decode byte 0x8b in position 2: invalid start byte)的解决
python3 读入csv文件:train = pd.read_csv('D:/Data/train.csv')报错('utf-8' codec can't decode byte 0x8b in position 2: invalid start byte)。原因是:csv文件的编码格式与python读入文件的指定的encoding参数不一致,encoding参数默认为 utf-8。遇到此问题解...转载 2018-03-02 08:36:17 · 38169 阅读 · 1 评论 -
缺失值处理方法
本文参考了多篇CSDN、知乎以及百度的文章,如果侵犯了您的权益,请及时联系,这是自己写的第一篇博客,有很多不足之处,请原谅。文章将常见的自己能理解的一些缺失值的处理方法以及方法的优缺点做了简单介绍。其中,多重插补、EM算法对缺失值的处理尚未掌握,因此并未放上来。一、数值缺失机制1.完全随机缺失(MCAR):缺失数据与该变量的真实值无关,与其他变量的数值也无关。 举例:一位老师抱着批改完的卷子走在路...转载 2018-02-22 23:40:11 · 3875 阅读 · 0 评论 -
异常值检测算法
异常值分析是检验数据是否有录入错误以及含有不合常理的数据的过程,忽视异常值的存在是十分危险的,不加剔除地把异常值包括进数据的计算分析过程中,对结果会产生不良影响,重视异常值的出现,分析其产生的原因,常常成为发现问题进而改进决策的契机。常用的异常值检测方法主要有: 1. 简单统计量分析:12先对变量做一个描述性统计,进而查看哪些数据是不合理的,如箱型图分析,平均值,最大最小值分析,统计学上的3σ法...转载 2018-02-22 23:35:57 · 4451 阅读 · 0 评论 -
Could not get lock /var/lib/dpkg/lock - open 解决方法
无法获得锁 /var/lib/dpkg/lockE: Could not get lock /var/lib/dpkg/lock - open (11 Resource temporarily unavailable)当你执行sudo apt-get XXX这种命令时出现类似下面的输出错误:E: Could not get lock /var/lib/dpkg/lock - open (11 Re...转载 2018-02-25 08:50:37 · 1104 阅读 · 0 评论