![](https://img-blog.csdnimg.cn/20201014180756916.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Spark应用
文章平均质量分 96
春宇大数据
春宇大数据,包括Hadoop平台部、分布式数据仓库部、分布式采集部、分析挖掘部、精准营销部、新技术研发部等,……。
展开
-
SparkSQL配置和使用初探
原文 http://www.cnblogs.com/byrhuangqiang/p/4012087.html 1.环境 OS:Red Hat Enterprise Linux Server release 6.4 (Santiago)Hadoop:Hadoop 2.4.1Hive:0.11.0JDK:1.7.0_60Spark:1.1.0(内置SparkSQL)Scala:2转载 2015-01-19 13:17:25 · 1058 阅读 · 0 评论 -
Spark技术解析及其在百度最大单集群1300台的应用实践
2015年1月10日,Databricks软件工程师连城、百度高级工程师甄鹏、百度架构师孙垚光、百度美国研发中心高级架构师刘少山四位专家联手为我们打造了一场基于Spark的高性能应用盛宴。其中,Databircks是Spark的创建公司,而百度则是国内规模最大的Spark集群的运营者(基于出稿前,国内各大Spark用户公布的数据)——实际生产环境,最大单集群规模1300台(包含数万核心和上百TB内转载 2015-01-19 13:20:06 · 1178 阅读 · 0 评论 -
Apache Spark1.1.0部署与开发环境搭建
Spark是Apache公司推出的一种基于Hadoop Distributed File System(HDFS)的并行计算架构。与MapReduce不同,Spark并不局限于编写map和reduce两个方法,其提供了更为强大的内存计算(in-memory computing)模型,使得用户可以通过编程将数据读取到集群的内存当中,并且可以方便用户快速地重复查询,非常适合用于实现机器学习算法。本文将转载 2015-02-22 15:41:30 · 662 阅读 · 0 评论 -
Spark1.2及CDH5.2~CDH5.3安装和使用(A)
本文主要记录 Spark 的安装过程配置过程并测试 Spark 的一些基本使用方法。 安装环境如下: 操作系统:CentOs 6.5Hadoop 版本:CDH-5.3.0Spark 版本:1.2 关于 yum 源的配置以及 Hadoop 集群的安装,请参考 使用yum安装CDH Hadoop集群。 1. 安装 选择一个节点 cdh1 来安装 Spark ,首先查看 S转载 2015-03-01 16:23:51 · 3454 阅读 · 0 评论 -
Spark1.2及CDH5.2~CDH5.3安装和使用(B)
这篇文章参考 How-to: Run a Simple Apache Spark App in CDH 5 编写而成,没有完全参照原文翻译,而是重新进行了整理,例如:spark 版本改为 1.2.0-cdh5.3.0,添加了 Python 版的程序。 本文主要记录在 CDH5 集群环境上如何创建一个 Scala 的 maven 工程并且编写、编译和运行一个简单的 Spark 程序转载 2015-03-01 16:25:31 · 786 阅读 · 0 评论 -
Spark安装和使用
本文主要记录 Spark 的安装过程配置过程并测试 Spark 的一些基本使用方法。 安装环境如下: 操作系统:CentOs 6.5Hadoop 版本:CDH-5.3.0Spark 版本:1.2 关于 yum 源的配置以及 Hadoop 集群的安装,请参考 使用yum安装CDH Hadoop集群。 1. 安装 选择一个节点 cdh1 来安装 Spark ,首先查看 Spark转载 2015-03-01 16:16:18 · 2780 阅读 · 0 评论