Spark
火柴有猿
天道酬勤
展开
-
使用Intellij Idea开发Spark应用遇到的问题
如下图 诸如此类的错误,一般是设置scala文件所在的目录设置了多个source类型的文件夹原创 2016-08-03 15:35:49 · 1875 阅读 · 0 评论 -
在spark命令行中执行hql内存溢出解决方法
比如以下错误 这样改咋办呢??? 内存溢出一般是改spark的运行内存,方法如此下原创 2016-09-29 09:55:13 · 1182 阅读 · 0 评论 -
spark学习之路------spark安装和部署
学习一门语言,或者学习一种应用,都学要把运行环境给搭建起来,这就是基础,可不能绕过啊 一、安装VMWare,步骤略,网上好多啊,而且我用的是vm virtualbox Ubuntu(我用的centos),安装3台,一台Master,另外2台Slave 安装JDK:主要配置环境变量 安装Hadoop: 1、首先配置jdk运行环境 2、配置had原创 2016-09-29 16:38:41 · 1238 阅读 · 0 评论 -
学习spark之路-----------系统概述
这些概念性的东西,我看着真的脑萎缩了,不过还是记录下来吧,万一用到呢。 spark是一个快速和通用的大数据处理引擎 在性能上有快速、易用、通用等特点 比Hadoop快100倍 Spark的生态系统包括如下: Spark Core:是整个BDAS生态系统的核心组件,是一个分布式大数据处理框架,包括Spark的基本功能。 Spark SQL:是Spark 1.0.0 新推出原创 2016-09-29 16:22:03 · 1609 阅读 · 0 评论 -
Java 1.8+Hadoop 2.7.3+Spark 2.1.1+Scala 2.11.8整合分布式部署
在写本文章前,假设三个Linux系统已经装好,分别为: 三个主机: 键入命令: sudo vi /etc/hostname master、slave1、slave2 IP地址分别为: 修改文件hosts sudo vi /etc/hosts 192.168.56.101 master 192.168.56.102 slave1 192.168.56.103 slave2原创 2017-06-27 17:29:34 · 2215 阅读 · 0 评论 -
spark学习之路----配置spark编译源码,准备阅读环境
一、我们常用的IDE又Intellij IDEA、Eclipse,我选用的是Eclipse编译spark 第一个是使用多年对它比较熟悉,另一个是社区使用Eclipse编译Spark的资料太少 在Windows系统编译Spark源码,除了安装JDK外,还需要安装以下工具。 (1)安装Scala 由于Spark 2.1.0版本的sbt里指定的Scala版本是2.11.8 ,具体见Spark源码原创 2017-11-17 16:57:33 · 731 阅读 · 0 评论