数据分析
文章平均质量分 55
HomeSick金城武
大学生程序员PIPM鼓手HipHop爱好者
展开
-
Python 数据分析初试
### 前期利用 python 爬虫在“静态页面结构”的网站 xxcity 上获取了一些二手房的数据。爬取静态网站是Spider新手的首选,这里不展开,感兴趣的朋友可以上网搜 静觅|爬虫 看看崔老师的爬虫教学。### 在储存原始数据时,为了后期使用 pandas 的二维数组生成 DataFrame ,故直接将原数据以 list 的格式保存在了 txt 文件中.In [1]: import...原创 2018-12-03 15:07:48 · 164 阅读 · 0 评论 -
Python数据分析:数据预处理
数据预处理:数据的预处理是在对数据分类和分组之前所做的必要处理,内容包括数据的审核、筛选、排序等。当使用爬虫从网上获取数据时,获得的数据往往存在缺失、异常、格式不正确等情况。面对这些状况百出的原始数据,数据的预处理就显得尤为重要,数据分析师们往往也会在数据预处理上花费许多时间。 数据审核 数据筛选 数据排序 数据审核:数据审核就是检查数据中是否有错误。对于原始...原创 2018-12-03 16:25:19 · 707 阅读 · 0 评论 -
埃森哲大数据分析方法:学习笔记
数据分析框架第一步&业务理解第二步&数据理解:数据收集、数据清洗数据清洗:异常值判别异常值判断方法有:物理判断法&统计判断法 1、物理判断法:根据人们对客观事物、业务等已有的认识,判别由于外界干扰、人为误差等原因造成实测数据偏离正常结果,判断异常值。通常比较困难、主观性较强。 2、统计判断法:给定一个置信概率,并确定一个...原创 2018-12-03 17:10:18 · 3374 阅读 · 0 评论