![](https://img-blog.csdnimg.cn/20201014180756780.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
spark
呼和浩特-大数据-白胖子
励志成为内蒙大数据第一人
展开
-
Spark个人理解
什么是spark:1.他能干MapReduce的活,区别主要放在内存技术,更快,如果内容满了,就内存+磁盘。2.支持编程语言:top1-scala、top2-python、top3-java、top4-R3.大数据计算框架全家桶,包含:批处理、交互式查询(Spark SQL)、实时流处理(Spark Streaming)、机器学习(Spark MLlib)和图计算(GraphX)4.兼容性...原创 2019-03-26 22:48:21 · 148 阅读 · 0 评论 -
spark部署安装
在之前hadoop的五台虚拟机上,继续安装spark,具体操作步骤如下1.准备环境2.安装JDK3.上传spark安装包4.解压spark并修改配置文件(两个配置文件,第一个配置文件添加了3个配置文件)mv spark-env.sh.template spark-env.shvi spark-env.shexport JAVA_HOME=/usr/java/jdk1.8.0_11...原创 2019-03-27 21:00:12 · 101 阅读 · 0 评论 -
提交第一个spark程序,以及中间遇到的坑
首先启动zookeeper集群(前面4天偷懒没搞,刚开始忘记启zookeeper= =!)./zkmanage.sh start/storp启动spark集群./sbin/start-all.shhdp02上启动master./sbin/start-master.sh运行语句bin/spark-submit --master spark://hdp01:7077 --class or...原创 2019-04-01 22:20:26 · 1913 阅读 · 0 评论 -
spark的Spark Shell练习
定于:Spark Shell(是一个交互式的命令行,里面可以写spark程序,方便学习和测试,他也是一个客户端,用于提交spark应用程序)启动(本地单机版-非集群):./bin/spark-shell上面的方式没有指定master的地址,即用的是spark的local模式运行的(模拟的spark集群用心的过程)./bin/spark-shell --master spark://hdp...原创 2019-04-01 22:49:23 · 559 阅读 · 0 评论 -
spark任务执行过程&spark与yarn的对比
spark任务执行过程如下图Yarn和Spark的StandAlone调度模式对比ResouceManager Master 管理子节点、资源调度、接收任务请求NodeManger Worker 管理当前节点,并管理子进程YarnChild Executor 运行真正的计算逻辑的(Task)Clie...原创 2019-04-01 22:54:35 · 341 阅读 · 0 评论 -
spark与scala
今天开始学习spak的workcount编程,第一个例子就是scala写的,这里发现,spark与scala紧密结合。所以spark课程先放缓,开始scala学习,写完scala再回来学习spark。...原创 2019-04-02 21:45:55 · 469 阅读 · 0 评论