- 博客(2)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 hive错误锦集
我的hive错误锦集-1性能问题：一个条件的错误在去年写了一个hive脚本，今年需求有变，条件细分。于是脚本改动较大，也没有考虑太多就开始改动。完成后测试运行速度，发现运行时间为改动前的三倍，当时需求很急，草草跑出数据提交了。后来又需要该脚本来用，才想起来效率问题，于是开始研究速度慢下来的原因。第一次将37个步骤的运行时间分离出来，发现问题出在某一个步骤上。这就好办了，单独拿出
2017-03-15 11:43:54
511
原创 数据分析之数据预处理
数据预处理步骤及方法1、缺失值处理1.1、造成缺失值原因缺失值处理原则：使用最可能的值代替缺失值，使缺失值与其他数值之间的关系保持最大。缺失值处理的方法很多，比如删除记录、均值填充、中位数填充等，具体方法如表1所示。2、异常值处理异常值是数据集中偏离大部分数据的数据。从数据值上表现为：数据集中与平均值的偏差超过两倍标准差的数据，其中与
2017-03-06 18:01:53
19388
1
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人