spark
文章平均质量分 59
spark积累
sun_code
这个作者很懒,什么都没留下…
展开
-
spark yarn集群(二)
spark yarn集群(二)现阶段公司常用的是hadoop环境,spark可以使用yarn进行资源管理,所以今天准备搭建一套spark-yarn集群。前言目前已准备好hadoop集群,节点如下主机名角色sparkNameNode,ResourceManagerspark-w1DataNode,NodeManagerspark-w2DataNode,NodeManager开始spark安装1.下载spark包这次采用的是spark-3.1.2-bin-原创 2021-06-08 17:55:41 · 313 阅读 · 0 评论 -
spark初始 (一)
spark初识(一):1、官网的spark包中pre-build with user provider与pre-build for Apache hadoop3.2什么区别?2、spark是否使用是否必须安装hadoop?3、第一个wordcount例子提交集群开始解惑(单纯个人理解):1、spark的下载包区别,spark是否使用是否必须安装hadoop?我的理解是两个包(with user provider与没有)区别不是太大,假如使用搭建spark集群的话都能使用,注意版本是否与had原创 2021-06-07 18:03:41 · 230 阅读 · 0 评论 -
spark总结(三)
spark总结(三):多总结,养成好习惯spark三大数据结构:1、 RDD:弹性分布式数据集2、 累加器:分布式共享只写变量3、 广播变量:分布式共享只读变量RDD特点:1、RDD只是封装了计算逻辑,并不保存数据;2、可分区、并行计算;3、分为转换算子和行动算子,只有到行动算子处才会真正出发执行;转换算子:如(map、flatmap、reduceByKey等等)行动算子:如(collect、save等等)累加器特点:广播特点:spark总结:1、算子意外的代码都是在Driv原创 2021-06-16 10:19:17 · 128 阅读 · 0 评论 -
Spark运行出现java.lang.UnsatisfiedLinkError: org.apache.hadoop.io.nativeio.NativeIO$Windows.access0(Ljav
Spark运行出现java.lang.UnsatisfiedLinkError: org.apache.hadoop.io.nativeio.NativeIO$Windows.access0(Ljava/lang/String;I)Z错误最近下载了下spak,跑个hello word小Demo,准备如下门,使用的是local方式的,在idea中跑wordcount,就出现了上述问题。按照网上说的,hadoop.ddl和winutils.exe都放到hadoop的bin下面了,而且还根据还放到了C:/win原创 2021-06-01 10:08:39 · 2284 阅读 · 1 评论