大数据
文章平均质量分 53
likemebee
认知的领域越广,无知的海岸线越大
展开
-
hive参数调优
注意 : mapreduce.job.reduces=-1 时生效。reduce个数=min(参数2,总输入数量/参数1)– 计算reduce个数公式。原创 2022-09-25 16:48:05 · 436 阅读 · 1 评论 -
pandas学习笔记
pandas是一个开源的python类库:用于数据分析、数据处理、数据可视化。高性能容易使用的数据结构容易使用的数据分析工具numpy:用于数学计算scikit-learn:用于机器学习。原创 2022-08-23 11:12:59 · 475 阅读 · 0 评论 -
grouping sets 联合 Grouping__ID 如何使用
grouping sets 联合 Grouping__ID 如何使用一、背景1.1 Grouping__ID的使用一、背景(此文的前提是你已经会使用grouping sets 而还不明白Grouping__ID如何使用的情况)在做离线项目开发时,经常会有这种场景:在求某几大类指标时,他们的逻辑其实完全一样,只是其指标所用的去重字段不一样,又或者纬度组合的场景不一样,那么我们一般首先想到的方法是把这几段union all起来。你没有错,union all完全可以解决此场景,但是假如union all的每段原创 2020-08-11 15:51:50 · 1473 阅读 · 2 评论 -
phoenix建立二级索引索要修改的配置
如果不进行任何配置,直接在phoenix上建立二级索引 ,比如create index A_INDEX on "t_tablename"("from_account","to_account","quantity","status") include("from_account","to_account");那么会报错:Error: ERROR 1029 (42原创 2018-10-25 21:22:26 · 638 阅读 · 0 评论