![](https://img-blog.csdnimg.cn/20201014180756757.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Zeppelin
隔壁敲代码的王先生
不积跬步无以至千里,不积小流无以成江海。
展开
-
Zeppelin的求学之路(1)—— 简介 和 从源码Build的安装并配置他的Spark解析器
ZeppelinZeppelin的简介 上面的截图就是官网对zeppelin的介绍,简洁明了——基于web端的notebook可以实现数据驱动,交互式数据分析,支持多种数据处理引擎,比如SQL,Scala,Spark,Hive等。当然我理解的Zeppelin就是整合了多种编程语言,比如Java,Scala,SQL,Python等,支持多种数据处理引擎进行数据处理分...原创 2018-03-22 21:05:18 · 2107 阅读 · 0 评论 -
Zeppelin的求学之路(2)——配置Spark解释器,job提交到yarn
1: Spark解释器:Zeppelin 的日常使用中,使用最频繁的或者说目前最重要的解释器非Spark了,下面就说一下Spark解释器的配置。Apache Spark是一种快速和通用的集群计算系统。它提供Java,Scala,Python和R中的高级API,以及支持一般执行图的优化引擎。Zeppelin支持Apache Spark,Spark解释器组由5个解释器组成。上图表格便是五个解释器的简...原创 2018-03-23 20:40:28 · 4183 阅读 · 0 评论 -
Zeppelin求学之路(3)—Zeppelin基本模块介绍和Paragraph源码深入了解以及Note,NoteBook 简介,
Zeppelin基本框架:源码是官方提供的最新的Zeppelin0.74版本。index0:废话: 研究了网上很多大神的佳作,和自己的亲身深入体验,尽自己最大努力讲的清楚一点把。 Index1:基本模块 看图说话: Zeppelin-server模块 Zeppelin-server:整个系统入口,提供服务器功...原创 2018-03-24 21:21:38 · 2949 阅读 · 0 评论 -
Zeppelin在求学之路----在Zeppelin上开发SendMai功能
功能要求:实现在Spark解释器下,通过自定义功能,调用sendMail(subject,recipients,sql)实现将DataFrame查询结果保存到Hdfs上,并且通过邮件的形式发送给某人,以供后端人员使用。环境:Mac操作系统,Zeppelin0.74;Spark2.1.1,Hadoop2.52,Scala2.11.,Java1.80实现分了三部分很简单,代码上有备注,大家可以直接看备...原创 2018-04-06 15:43:06 · 759 阅读 · 0 评论