关闭

[置顶] Spark 2.1.0 大数据平台源码分析:章节序列

标签: Spark
2197人阅读 评论(1) 收藏 举报
分类:

1. Spark Core





1
0
查看评论

Spark2.1.0源码编译

1、在Spark官网下载源码,选择source code下载解压即可(也可以git clone spark源码) 2、在环境变量里设置maven内存大小,我本机使用默认大小也通过了,根据实际情况决定。 export MAVEN_OPTS="-Xmx2g -XX:Reserved...
  • Dax1n
  • Dax1n
  • 2017-02-27 19:59
  • 424

大数据平台搭建(hadoop+spark)

大数据平台搭建(hadoop+spark) 一.基本信息 1. 服务器基本信息 主机名 ip地址 安装服务 spark-master 172.16.200.81 jdk、hadoop、spark、scala s...
  • bailu66
  • bailu66
  • 2016-12-24 23:06
  • 2724

Spark 2.1.0的运行模式

本文介绍了Spark 2.1.0支持的运行模式。Spark可以在集群环境中运行,也可以单机本地运行,或者在单机上部署伪分布集群来运行Spark。Spark 2.1.0原生支持三种集群:Spark原生提供的Standalone集群,以及外部资源调度框架Apache Mesos和Hadoop Yarn。
  • farawayzheng_necas
  • farawayzheng_necas
  • 2017-01-18 23:47
  • 952

spark(2.1.0)

spark(2.1.0)简介:该文档没有安装hadoop进行关联,简单学习spark文件读取,仅安装spark即可,安装包自带scala环境。环境安装下载地址:http://spark.apache.org/downloads.html 下载spark-2.1.0-bin-hadoop2.7.tgz...
  • zhengyong15984285623
  • zhengyong15984285623
  • 2017-01-19 10:10
  • 2106

Spark2.1.0安装和配置

Spark 2.1.0 安装、配置
  • Wee_Mita
  • Wee_Mita
  • 2017-04-21 11:39
  • 3044

Spark 2.1.0官方文档翻译

Apache Spark是一个快速的,通用的集群计算系统。在Java,Scala,Python和R语言中提供了高层API,并提供一个支持一般图形计算的优化引擎。Spark支持一个丰富的高层工具集,包括Spark SQL用于SQL和结构化数据处理,MLLib用于机器学习,GraphX用于图处理和Spa...
  • anxiaoyuthss
  • anxiaoyuthss
  • 2017-04-18 19:15
  • 953

Spark SQL 源码分析系列文章

Spark SQL 源码分析系列文章,从整个SQL执行流程到各个环节的关键组件,以及Catalyst框架的讲解。
  • u014388509
  • u014388509
  • 2014-07-29 09:46
  • 21605

Spark大数据平台

课程大纲: 授课对象:Spark初级、想了解和学习Spark 的朋友   第一周、Scala基础与实践 第二周、Spark生态系统介绍,Spark整体概述与Spark编程模型。 第三周、Spark进阶 第四周、基于Spark的流处理框架:Spark Stream...
  • hadoopshow
  • hadoopshow
  • 2014-07-15 15:51
  • 270

spark_pom.xml

xml version="1.0" encoding="UTF-8"?> xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3...
  • u011263983
  • u011263983
  • 2016-05-25 11:24
  • 1610

SparkStreaming操作Kafka

Kafka为一个分布式的消息队列,spark流操作kafka有两种方式: 一种是利用接收器(receiver)和kafaka的高层API实现。 一种是不利用接收器,直接用kafka底层的API来实现(spark1.3以后引入)。    Receiver方式 基于Receiver方...
  • autumnforest290
  • autumnforest290
  • 2017-12-14 14:36
  • 160
    个人资料
    • 访问:499345次
    • 积分:5443
    • 等级:
    • 排名:第5863名
    • 原创:100篇
    • 转载:3篇
    • 译文:0篇
    • 评论:73条
    最新评论