2018年08月_潮生明月

08月 07月

转载 spark RDD collect()

collect的作用 Spark内有collect方法，是Action操作里边的一个算子，这个方法可以将RDD类型的数据转化为数组，同时会从远程集群是拉取数据到driver端。已知的弊端首先，collect是Action里边的，根据RDD的惰性机制，真正的计算发生在RDD的Action操作。那么，一次collect就会导致一次Shuffle，而一次Shuffle调度一次stage，然而一...

2018-08-24 17:01:05 27994 1

原创 Hive报错"Expression not in GROUP BY key"

select user_id, distance from table a group by user_id这是由于根据user_id做group by时，每个user_id存在多个distance，考虑只保留一个distance或使用collect_set函数。select user_id, min(distance) from table a...

2018-08-24 16:33:31 3875

原创 hive中的concat，concat_ws，collect_set用法

需求：对用户的信息进行分析，相同用户的地址信息按照不同类型分别展示出来，每个用户一行。table1: user_id location location_type 123 w2ny6s ...

2018-08-24 16:12:36 21608

原创 python-xgboost 异常AttributeError: 'DMatrix' object has no attribute 'handle'

xgboost异常AttributeError: ‘DMatrix’ object has no attribute ‘handle’ 提示的错误是DataFrame.dtypes for data must be int, float or bool.通过分析训练样本的类型发现，存在一列的数据是object类型，需要将其转换为int/float/bool 类型。可以通过pd.to_nu...

2018-08-14 11:09:11 4847