机器学习中的数据清洗与特征处理综述

抱着认真崇拜的心情学习这篇博客： http://dataunion.org/25792.html
机器学习in action其他四篇:
机器学习如何解决问题：http://www.wtoutiao.com/p/f34DQa.html
Logistic Regression 模型简介:http://tech.meituan.com/intro_to_logistic_regression.html
美团推荐算法实践:http://tech.meituan.com/mt-recommend-practice.html

另外：
spark性能优化基础篇：http://tech.meituan.com/spark-tuning-basic.html
spark性能优化高级篇：http://tech.meituan.com/spark-tuning-pro.html

另外：
fm:http://tech.meituan.com/deep-understanding-of-ffm-principles-and-practices.html
online_learning:http://tech.meituan.com/online-learning.html
活动大促容量预估：http://tech.meituan.com/stress-test-before-promotion.html

1、摘抄1：本文以点击下单率预测为例，结合实例来介绍如何进行数据清洗和特征处理。首先介绍下点击下单率预测任务，其业务目标是提高团购用户的用户体验，帮助 用户更快更好地找到自己想买的单子。这个概念或者说目标看起来比较虚，我们需要将其转换成一个技术目标，便于度量和实现。最终确定的技术目标是点击下单率 预估，去预测用户点击或者购买团购单的概率。
感受：工作中要切实可行的目标

2、特征选择方法：
1 业务经验拍特征，与点击率有关的特征：
距离，很显然这是一个很重要的特征。如果购买一个离用户距离较远的单子，用户去消费这个单子需要付出很多的代价。 当然，也并不是没有买很远单子的用户，但是这个比例会比较小。
用户历史行为，对于老用户，之前可能在美团有过购买、点击等行为。
用户实时兴趣。
单子质量，上面的特征都是比较好衡量的，单子质量可能是更复杂的一个特征。
是否热门，用户评价人数，购买数等等。
在确定好要使用哪些数据之后，我们需要对使用数据的可用性进行评估，包括数据的获取难度，数据的规模，数据的准确率，数据的覆盖率等
数据获取难度
例如获取用户id不难，但是获取用户年龄和性别较困难，因为用户注册或者购买时，这些并不是必填项。即使填了也不完全准确。这些特征可能是通过额外的预测模型预测的，那就存在着模型精度的问题。
数据覆盖率
数据覆盖率也是一个重要的考量因素，例如距离特征，并不是所有用户的距离我们都能获取到。PC端的就没有距离，还有很多用户禁止使用它们的地理位置信息等。
用户历史行为，只有老用户才会有行为。
用户实时行为，如果用户刚打开app，还没有任何行为，同样面临着一个冷启动的问题。
数据的准确率
单子质量，用户性别等，都会有准确率的问题。

3 标注和特征数据清洗

数据采样，例如对于分类问题：选取正例，负例。对于回归问题，需要采集数据。对于采样得到的样本，根据需要，需要设定样本权重。当模型不能使用全部的数据来训练时，需要对数据进行采样，设定一定的采样率。采样的方法包括随机采样，固定比例采样等方法。
除了采样外，经常对样本还需要进行过滤，包括
1.结合业务情况进行数据的过滤，例如去除crawler抓取，spam，作弊等数据。
2.异常点检测，采用异常点检测算法对样本进行分析，常用的异常点检测算法包括
偏差检测，例如聚类，最近邻等。
基于统计的异常点检测算法
例如极差，四分位数间距，均差，标准差等，这种方法适合于挖掘单变量的数值型数据。全距(Range)，又称极差，是用来表示统计资料中的变异量数 (measures of variation) ，其最大值与最小值之间的差距;四分位距通常是用来构建箱形图，以及对概率分布的简要图表概述。
基于距离的异常点检测算法，主要通过距离方法来检测异常点，将数据集中与大多数点之间距离大于某个阈值的点视为异常点，主要使用的距离度量方法有绝对距离 ( 曼哈顿距离 ) 、欧氏距离和马氏距离等方法。
基于密度的异常点检测算法，考察当前点周围密度，可以发现局部异常点，例如LOF算法
（发现异常，还没试过）