![](https://img-blog.csdnimg.cn/20201014180756928.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
大数据
一个向往阿里的小小白
这个作者很懒,什么都没留下…
展开
-
kafka常用代码
1,消费者代码package com.iflytek.spark.test;import java.text.MessageFormat;import java.util.HashMap;import java.util.List;import java.util.Map;import java.util.Properties;import com.iflytek.spark.bean.Sy原创 2017-11-23 17:55:57 · 601 阅读 · 0 评论 -
个人问题
1,spark的三种提交模式的区别原创 2019-01-21 15:10:50 · 149 阅读 · 0 评论 -
spark性能优化
1,使用高性能序列化类库1.1,原理在任何分布式系统中,序列化都是扮演着一个重要的角色的。如果使用的序列化技术,在执行序列化操作的时候很慢,或者是序列化后的数据还是很大,那么会让分布式应用程序的性能下降很多。所以,进行Spark性能优化的第一步,就是进行序列化的性能优化。 Spark自身默认就会在一些地方对数据进行序列化,比如Shuffle。还有就是,如果我们的算子函数使用到了外部的数据(比如...原创 2019-03-03 14:42:52 · 146 阅读 · 0 评论 -
scala学习笔记
##第一课 基础语法1,val声明量,var声明变量2,·基本数据类型:Byte、Char、Short、Int、Long、Float、Double、Boolean,没有java的封装类3,基本操作符:scala的算术操作符与java的算术操作符也没有什么区别,比如+、-、*、/、%等,以及&、|、^、>>、<<等。没有++,–等操作4,如果调用函数时,不需要...原创 2019-03-21 23:04:10 · 153 阅读 · 0 评论 -
hadoop高可用集群搭建(超详细)
一,搭建centos6.10集群1,软件准备centos6.10下载:https://mirrors.aliyun.com/centos/6/isos/x86_64/CentOS-6.10-x86_64-bin-DVD1.iso(阿里云镜像站)vm:自行百度2,准备Linux环境2.1,点击VMware快捷方式,右键打开文件所在位置 -> 双击vmnetcfg.exe -> ...原创 2019-04-12 16:40:32 · 642 阅读 · 0 评论