Spark
sxf_0123
这个作者很懒,什么都没留下…
展开
-
如何在已有CM集群环境中添加kafka组件
参考 kafka升级 CDH5与CM5环境搭建 场景 怎么局部升级当前cm集群呢,比如添加kafka组件、spark组件等 分析 一、升级原因 1、 现有集群组件只能做一些离线类统计分析,无法满足当前实时类业务计算的需求。 2、 现有集群计算引擎是基于MR2,计算能力相对较弱。 综合以上因素,决定在已有的集群组件中添加 : flume、kafka 与 spark 组件,以期提升集群的计算能力...转载 2020-03-08 16:32:22 · 280 阅读 · 0 评论 -
Spark参数调优详解目录
Spark参数调优需要对各个参数充分理解,没有一套可以借鉴的参数,因为每个集群规模都不一样,只有理解了参数的用途,调试出符合自己业务场景集群环境,并且能在扩大集群、业务的情况下,能够跟着修改参数才算是正确的参数调优。 本系列文章仅为个人理解与观点,如果任何地方有疑问与错误,欢迎评论指正! (上次更新时间---2018-09-0515:07) 1、背景 Spark2.2.1版本(现升级到了...转载 2020-03-08 14:54:53 · 152 阅读 · 0 评论 -
Spark在Windows下的环境搭建
一、JDK的安装 1、1 下载JDK 首先需要安装JDK,并且将环境变量配置好,如果已经安装了的老司机可以忽略。JDK(全称是JavaTM Platform Standard Edition Development Kit)的安装,去Oracle官网下载,下载地址是Java SE Downloads。 上图中两个用红色标记的地方都是可以点击的,点击进去之后可以看到这个最新版本的...转载 2019-12-10 11:01:11 · 149 阅读 · 0 评论