![](https://img-blog.csdnimg.cn/20201014180756754.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
智慧交通项目
"Baal
这个作者很懒,什么都没留下…
展开
-
基于FusionInsight Manager的大数据架构图
大数据架构图介绍架构图介绍基于华为FusionInsight Manager的大数据架构图架构图原创 2019-12-18 15:59:40 · 1683 阅读 · 0 评论 -
Spark调优(二)-----合理配置Spark集群的Executor,Core,Partition
概述合理配置Executor,Core,Partition会大大提高集群的计算效率。举个例子:100道计算题,如果一个人计算可能需要100min,但如果平均分配给10个人计算,每人算10道题,然后再汇总给一个人提交,那只需要10min就可以完成。为了帮助大家更全面的理解底层原理和一些基本概念,先介绍Spark架构与Spark调度模块,调优在文章最末目录概述Spark架构Spark调...原创 2019-10-29 16:10:10 · 1358 阅读 · 0 评论 -
Spark调优(一)-----使用broadcast广播变量
最近在做一些Spark的调优,前期生产实践的经验一直没顾得上总结,借此机会做个回顾,也算给自己做个积累背景介绍:基于华为大数据平台(其实就是多了个安全认证,user.keytab和krb5.conf)Spark消费Kafka中的数据,并读取HBase静态表,与表中的数据做一些略复杂的逻辑计算,最终返回结果。优化方式以下是亲测的一些Spark调优方法并附上优化时间:1.使用broadcas...原创 2019-10-28 14:55:23 · 1099 阅读 · 0 评论 -
应用华为大数据平台配置大数据项目①
应用华为大数据平台配置大数据项目①概述框架详述关于log4j概述智慧交通项目,由车载硬件设备发送GPS等数据,经过简单处理后经大数据平台计算返回结果,实时处理使用Spark2X,离线批处理使用Hive的MapReduce,作为历史数据存入Oracle,本文主要记录关于华为大数据平台使用FLume,Kafka,HDFS,Spark2X,等组件配置,使用过程中遇到的一些问题(踩过的坑),总结经验,...原创 2019-08-22 11:34:04 · 2539 阅读 · 0 评论