大数据-Spark
文章平均质量分 77
Sunny3096
社会闲散人员
展开
-
【大数据----Spark】基于Spark streaming的SQL服务实时自动化运维
【自动化】基于Spark streaming的SQL服务实时自动化运维设计背景spark thriftserver目前线上有10个实例,以往通过监控端口存活的方式很不准确,当出故障时进程不退出情况很多,而手动去查看日志再重启处理服务这个过程很低效,故设计利用Spark streaming去实时获取spark thriftserver的log,通过log判断服务是否停止服务,从而进行对应的自...原创 2017-09-12 13:54:00 · 229 阅读 · 0 评论 -
【大数据----Spark】30分钟概览Spark分布式计算引擎
【分布式计算】30分钟概览Spark分布式计算引擎本文主要帮助初学者快速了解Spark,不会面面俱到,但核心一定点到。Spark是继Hadoop之后的下一代分布式内存计算引擎,于2009年诞生于加州大学伯克利分校AMPLab实验室,现在主要由Databricks公司进行维护(公司创始员工均来自AMPLab),根据本人自2014学习Spark的理解,从下面几个方面介绍。1、为什么出现Sp...原创 2017-09-12 13:50:00 · 250 阅读 · 0 评论 -
【大数据----Spark】30分钟概览Spark Streaming 实时计算
【Streaming】30分钟概览Spark Streaming 实时计算本文主要介绍四个问题:什么是Spark Streaming实时计算? Spark实时计算原理流程是什么? Spark 2.X下一代实时计算框架Structured Streaming Spark Streaming相对其他实时计算框架该如何技术选型?本文主要针对初学者,如果有不明白的概念可了解之前的博客内容。...原创 2017-09-12 13:46:00 · 602 阅读 · 0 评论 -
【大数据----Spark】Spark入门教程[1]
本教程源于2016年3月出版书籍《Spark原理、机制及应用》 ,如有兴趣,请支持正版书籍。随着互联网为代表的信息技术深度发展,其背后由于历史积累产生了TB、PB甚至EB级数据量,由于传统机器的软硬件不足以支持如此庞大的数据量的存储、管理及分析能力,因而专门应对大数据的分布式处理技术应运而生。如今业界大数据处理的主流平台非Hadoop和Spark莫属,本书主要介绍大数据平台的后起之秀Spark...原创 2019-05-31 08:44:08 · 10531 阅读 · 2 评论 -
【大数据----Spark】Spark入门教程[2]
本教程源于2016年3月出版书籍《Spark原理、机制及应用》 ,在此以知识共享为初衷公开部分内容,如有兴趣,请支持正版书籍。 Spark为使用者提供了大量的工具和脚本文件,使得其部署与开发变得十分方便快捷,本章将会分别从运行(含集群部署)、开发以及源码编译三个角度,来介绍Spark相关环境的具体配置流程。对于初次接触Spark的读者,建议仅需阅读运行环境部署和开发环境部署两节内容,...原创 2019-05-31 08:43:48 · 682 阅读 · 0 评论 -
【大数据----Spark】Spark入门教程[3]
本教程源于2016年3月出版书籍《Spark原理、机制及应用》,在此以知识共享为初衷公开部分内容,如有兴趣,请支持正版书籍。 Spark综合了前人分布式数据处理架构和语言的优缺点,使用简洁、一致的函数式语言Scala作为主要开发语言,同时为了方便更多语言背景的人使用,还支持Java、Python和R语言。Spark因为其弹性分布式数据集(RDD)的抽象数据...原创 2019-05-31 08:43:30 · 599 阅读 · 0 评论 -
【大数据----Spark】spark源码编译
本文采用cdh版本spark-1.6.0-cdh5.12.01.源码包下载2.进入根目录编译,编译的方式有2种mavenmvn clean package \-DskipTests -Phadoop-2.6 \-Dhadoop.version=2.6.0-cdh5.12.0 -Pyarn \-Phive-1.1.0 -Phive-thriftservermak...原创 2019-05-31 08:44:27 · 1718 阅读 · 1 评论 -
【大数据----Spark】【CDH】spark集群环境搭建
1.环境spark-1.6.0-cdh5.12.0centOS6.5hadoop-2.6.0-cdh5.12.0jdk1.8.0_144scala2.12.3服务器规划HostName ServerIP Remark node1.sunny.cn 192.168.2.11 Master、Slave node2.sunny.cn ...原创 2019-05-31 08:43:06 · 2843 阅读 · 0 评论