Spark集群搭建
Spark集群搭建
威少SOS
改变从这里开始
展开
-
Spark集群搭建 之使用Virtual Box 搭建多个CentOS6.5 汇总
目录虚拟机要点GET点遗留点1.虚拟机要点网卡连接方式语言虚拟机内存磁盘空间防火墙:iptablesDNS服务器:/etc/resolv.conf虚拟主机的名称JDK 的安装 在 ./.bashrc配置 Liniux 的 映射 /etc/hosts Windows 的 hosts 配置集群之间的免密 SS...原创 2019-04-11 20:46:05 · 240 阅读 · 0 评论 -
Spark集群搭建 (二)
目录1.hadopp:2.hive:3.zookper:4.kafka:1.hadopp:yarn:资源调度hdfs:相应分布式文件存储两大类角色:Master(管理)和Salve(从动装置)一个HDFS集群是由一个NameNode和若干个DataNode组成的对应的节点描述:NameNode作为主服务器,管理文件系统的命名空间和客户端对文件系统的访...原创 2019-04-16 00:56:31 · 118 阅读 · 0 评论 -
spark集群配置(IP,Node,BorkerId,myId,角色,端口等重要字段信息)
目录一:集群地址:二:相应组件1.CentOS 6.52.Hadoop3.Hive4.Zookeeper5.Kafka6.Spark一:集群地址:hdfs集群:http://spark1:50070/explorer.html#/yarn集群:http://spark1:8088/cluster/scheduler?...原创 2019-04-17 00:53:38 · 576 阅读 · 0 评论 -
Spark RDD 基础入门
目录1.创建 RDD2.操作RDD3.RDD之Spark运行流程1.创建 RDD使用程序中的集合创建RDD;使用本地文件创建RDD; 亦可以通过输入目录路径来生成(自动的将文件进行合并)使用HDFS文件创建RDD; 输入hdfs 上的文件路径即可!2.操作RDDtransaction特性:lazy : 基本的tan...原创 2019-04-17 21:25:47 · 199 阅读 · 0 评论 -
Spark 1.3 升级为 Spark1.5操作实例
目录一:背景二:步骤一:背景之前搭建的包含 Hadoop,Hive,Zookeeper,Kafka,Spark的小型测试集群其中spark1 为Master主控节点,spark2,spark3 为worker 节点实际:替换spark-1.3.0-bin-hadoop2.4.tgz 为 spark-1.5.1-bin-hadoop2.4.tgz二:步骤0.停...原创 2019-06-12 18:21:42 · 194 阅读 · 0 评论 -
Spark版本更新之1.4,1.5梳理及感言
引言:更新之于替换了发动机的零件,车一样开 :>一:Spark 1.4.x的新特性1、Spark Core 1.1 提供REST API供外界开发者获取Spark内部的各种信息(jobs / stages / tasks / storage info),基于这些API,可以搭建自己的Spark监控系统。 1.2 shuffle阶段,默认将map端写入磁盘的数据进行序列化...原创 2019-06-08 01:38:36 · 655 阅读 · 0 评论 -
Spark之源码二次开发
目录一:意义二:环境配置三:替换步骤一:意义存在着更符合自己公司业务,服务器现状的分配算法逻辑,需要在源码层面进行改动。二:环境配置需要SCALA,JDK,MAVEN环境Maven在Linux环境的配置:第一步、使用mv命令将apache-maven-3.5.4文件夹拷贝到自己指定的文件夹,比如/usr/local/下mvapache-maven-3...原创 2019-06-13 23:34:20 · 1713 阅读 · 0 评论