![](https://img-blog.csdnimg.cn/2ab8759c1586472a9ce759707feb63a3.jpeg?x-oss-process=image/resize,m_fixed,h_224,w_224)
Spark
文章平均质量分 61
Spark是当前最流行的离线处理引擎
大数据小小罗
做一个有思想的程序设计者!
展开
-
1.什么是Spark
Spark是一个统一的大规模数据分析引擎。原创 2022-07-24 12:16:27 · 388 阅读 · 1 评论 -
spark--01编译安装spark1.3.1
问:为什么要编译安装? 答:因为为了不给自己埋定时炸弹,编译成功后的安装包往往都是在你的机器上兼容性达到最优的,所以还是建议编译一下0.java安装,这里不再详述1.在centOS上安装maven 1.tar -zxvf apache-maven-3.2.5-bin.tar.gz -C 目录 (解压) 这里我放在了/usr/maven/apache-maven-3.0.5目录下 2.v原创 2016-08-01 22:09:22 · 504 阅读 · 0 评论 -
spark--2.部署高可用的Spark集群
这里已经假设部署了hadoop2.6.0 HA集群: 节点安排如下: 节点名称 角色 itcast01、itcast02 Namenode和zkfc itcast03、itcast04 ResourceManager itcast05、itcast06、itcast07 QuorumPeerMain JournalNode、Datanode、NodeManager原创 2016-08-02 13:37:14 · 1631 阅读 · 0 评论 -
spark集群启动命令和Web端口查看
namenode的webUI端口:50070yarn的web端口:8088spark集群的web端口:8080原创 2016-08-02 17:51:44 · 36558 阅读 · 1 评论