![](https://img-blog.csdnimg.cn/20201014180756918.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
HADOOP
文章平均质量分 68
CODE20220318
这个作者很懒,什么都没留下…
展开
-
MapReduce开发环境搭建
MapReduce开发环境搭建原创 2022-08-11 17:13:38 · 980 阅读 · 0 评论 -
数据仓库工具箱 第10节 金融服务
>金融服务涉及各行业,如信用卡公司,抵押贷款提供商等,日常接触的零售银行。一家银行提供广泛的产品,包括活期存款,储蓄账户,按揭贷款,个人贷款,信用卡以及银行贵重物品保险箱等。>主要讨论如下概念:>银行总线矩阵片段>对维度进行分类以避免维度太少的陷阱>家庭维度>用一个账户关联多个客户的桥接表,以及权重因子。>报表的动态范围值实时...原创 2022-08-03 14:24:10 · 106 阅读 · 0 评论 -
HADOOP数据分片及MapTask并行度
HADOOP数据分片及MapTask并行度InputSplit对象getSplits()方法MapTaskRecordReader其他分片方式CombineTextInputFormat自定义RecordReader分片优化HADOOP分块处理核心数MapReduce进行数据处理时,首先,需要从hdfs读取数据借助getSplits()方法进行分片;然后,创建和分片数量一致的Maptask,并为每个MapTask分配一个数据分片;最后,再借助RecordReader类读取分配的数据分片,以key,val原创 2022-03-29 19:16:06 · 1014 阅读 · 0 评论