Spark
逝水-无痕
这个作者很懒,什么都没留下…
展开
-
Linux安装jdk步骤
一、下载jdk首先我们需要下载java开发工具包JDK,下载地址:http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html二、安装1、将下载后的文件放到/usr/local目录,并进入/usr/local目录,执行如下命令进行安装rpm -ivh jdk-8u111-lin...原创 2016-12-13 20:19:45 · 2080 阅读 · 0 评论 -
Spark History server配置使用
文章目录为什么需要HistoryServerHistoryServer简介HistoryServer配置1 新建保存spark events的目录2 配置spark-defaults.conf3 配置spark-env.sh启动HistoryServer为什么需要HistoryServer在Spark安装成功,通过spark-submit工具提交任务后,只要在Spark应用程序运行期间,可以通...原创 2019-04-02 19:20:53 · 1983 阅读 · 0 评论 -
spark-sql on Hive的配置记录
文章目录Spark配置启动Hive的metastore服务重启spark集群验证配置是否成功Spark配置在${SPARK_HOME}/conf/目录下新建hive-site.xml文件,并在文件中做如下配置:<?xml version="1.0"?><?xml-stylesheet type="text/xsl" href="configuration.xsl"?&g...原创 2019-03-12 15:19:55 · 775 阅读 · 0 评论 -
Spark on YARN实现动态资源分配配置记录
文章目录使能Spark资源动态分配使能External Shuffle ServiceExternal Shuffle Service配置使能Spark资源动态分配进入${SPARK_HOME}/conf/目录,在spark-defaults.conf文件中新增如下配置如果spark-defaults.conf文件不存在,从spark-defaults.conf.template模板文件拷贝...原创 2019-03-04 13:13:29 · 2172 阅读 · 0 评论 -
Spark源码编译支持Parquet存储格式
文章目录Spark源码编译Hadoop-Parquet相关jar包下载查找与系统(此处以hive为例)的parquet版本号下载hadoop-parquet相关jar包Spark配置Spark源码编译Spark源码编译方式部署Spark时,为了支持Parquet功能,需要在源码编译时指定支持Parquet功能(即在编译命令中带上”parquet-provided“参数),具体的编译命令如下:...原创 2019-03-05 18:59:52 · 1571 阅读 · 2 评论 -
Spark常见问题及解决方案
文章目录Spark-shell问题:Spark-shell启动时报错WARN NativeCodeLoader:60 - Unable to load native-hadoop library for your platform... using builtin-java classes where applicableSpark-shell问题:Spark-shell启动时报错WARN ...原创 2019-02-19 17:49:54 · 2837 阅读 · 0 评论 -
基于CentOS7的Spark on YARN模式集群部署
文章目录3台服务器部署结构目录规划一、前提条件1、确保集群中已经安装好了hadoop(2.7及以上版本);2、确保集群中每台机器上已经安装好了scala(2.12及以上版本);二、安装Spark-2.4.01、下载Spark安装包,下载地址:http://mirrors.tuna.tsinghua.edu.cn/apache/spark/spark-2.4.0/spark-2.4.0-bin-wi...原创 2019-02-15 11:09:23 · 2007 阅读 · 0 评论 -
linux环境部署Spark集群(Standalone Mode)
准备工作 linux系统默认情况下,防火墙软件都是开启的,几乎所有的端口都是不对外开发的,spark集群内的各个节点间的通信需要用到相关的端口,如master节点的--webui-port:8080,worker节点的--webui-port:8081,master节点与worker节点间的通信需要用6066,7077端口,因此需要在防火墙中设置相关规则,开放这些端口,现以原创 2017-03-11 20:27:26 · 2260 阅读 · 0 评论 -
Linux安装Spark2.0.2步骤
一、下载Spark首先我们需要下载Spark安装包,下载地址:http://spark.apache.org/downloads.html,以spark-2.0.2版本为例二、安装1、将下载的Spark安装包放到/usr/local目录,解压缩安装包tar zxvf spark-2.0.2-bin-without-hadoop.tgzmv spark-2.0.2-bin-wit...原创 2016-12-26 10:18:19 · 2577 阅读 · 0 评论 -
践行之路
Scala IDE 搭建Spark 2开发环境参考:http://blog.csdn.net/wengyupeng/article/details/52807655详解基于maven管理-scala开发的spark项目开发环境的搭建参考:http://blog.csdn.net/pengych_321/article/details/52014249原创 2016-12-28 23:03:50 · 495 阅读 · 0 评论 -
Linux手动安装sbt步骤
一、下载sbt安装包从sbt官网下载地址:http://www.scala-sbt.org/download.html下载安装包,以sbt-1.2.8.tgz为例。二、安装1、将下载的二进制包移动到/usr/local目录,解压缩文件包tar zxvfsbt-1.2.8.tgzmvsbt-launcher-packaging-0.13.13 sbt //重命名目录2、...原创 2016-12-28 14:00:30 · 6268 阅读 · 4 评论 -
Spark2.0安装
准备工作运行Spark2.0,需要java和scala的支持,JDK至少1.7版本以上,scala至少2.11版本以上,CentOS7.x系统默认只安装了Java JRE,还需要安装Java JDK,并配置好JAVA_HOME变量。安装Spark1、下载安装2、配置Spark环境spark-defaults.conf配置一些jar包的引用。(注意:spark2.0.1版本不再有原创 2016-12-24 20:06:00 · 798 阅读 · 0 评论 -
Linux安装Scala步骤
一、下载Scala安装包从scala官方网站地址:http://www.scala-lang.org/download/下载scala二进制包,以2.11.8版本为例二、安装1、将下载的二进制包移动到/usr/local目录,解压缩文件包tar zxvf scala-2.11.8.tgz mv scala-2.11.8 scala //重命名目录2、设置环境变量vi...原创 2016-12-15 13:05:52 · 13015 阅读 · 0 评论 -
Spark on YARN集群动态扩容
文章目录基础工作添加worker如果Spark集群使能了External Shuffle Service功能,添加worker需要采用如下方式如果Spark集群未使能External Shuffle Service功能,添加worker需要采用如下方式新增节点启动验证基础工作新增节点上安装scala;新增节点上新建用于存放spark数据和日志的目录;将新增节点的主机名添加到slaves文...原创 2019-09-12 11:24:01 · 1369 阅读 · 0 评论