charKim的博客

[main] ERROR org.apache.pig.tools.grunt.Grunt - ERROR 1037: <line 2, column 49> Operands of Regex can be CharArray only :(Name: Regex Type: null Uid: null)

[main] ERROR org.apache.pig.Main - ERROR 2997: Encountered IOException. File = does not exist

数据科学家在面对大规模数据分析时，经常需要面对两类问题 （1）数据缓存：在应用数据挖掘算法时前，数据往往需要进行预处理操作，对数据中一部分不符合要求的数据进行不断的清洗过滤。而这些清洗工作又不是可以用简单的线性操作完成的。同时，算法计算过程中的中间结果也需要保留，以便后续操作使用。 （2）算法迭代：数据科学家需要应用复杂的数据挖掘算法对数据进行分析，而这些算法往往需要复杂的运算逻辑和反