Zeppelin 使用心得( 基于window10 ) -- Mysql,Hive,Flink,Spark

点击查看原文（包含源码和图片）：http://note.youdao.com/noteshare?id=fdb03eb81783f7b3c77ffd78c6c95612&sub=DC8EC22B5004468D9A76E21A9C42D36E

1.下载

http://mirrors.tuna.tsinghua.edu.cn/apache/zeppelin/zeppelin-0.8.2/zeppelin-0.8.2-bin-all.tgz

 

2.解压

 

3.启动

双击 bin/zeppelin.cmd

 

4.进入web界面

http://localhost:8080/#/

 

 

 

 

5.新建Interpreters

 

• 页面右上角 点击用户

 

 

 

• 进入后可以浏览一下，已经创建好的Interpreter
• 创建一个新的Interpreter

 

• 填写Interpreter Name（随意命名）
• 选择一个 Interpreter group

 

 

 

 

• 画红框框的地方，修改成自己的mysql配置

 

 

 

• artifact 处需要填写mysql-connector-java-5.1.xx.jar 路径，然后保存

 

 

6.左上角，新建一个笔记本

 

 

 

 

 

 

7.链接sql数据库，并执行语句

 

 

8.Hive Interpreter 设置

 

 

 

• 添加jar包。如果不行，再添加一个hadoop-common那个jar包

 

• 运行

 

 

 

9.Spark Interpreter 设置

 

val bankText = sc.textFile("D:/Test/bank/bank-full.csv") case class Bank(age:Integer, job:String, marital : String, education : String, balance : Integer) val bank = bankText.map(s=>s.split(";")).filter(s=>s(0)!="\"age\"").map( s=>Bank(s(0).toInt, s(1).replaceAll("\"", ""), s(2).replaceAll("\"", ""), s(3).replaceAll("\"", ""), s(5).replaceAll("\"", "").toInt ) ) // convert to DataFrame and create temporal table bank.toDF().registerTempTable("bank")

 

• 使用默认写好的spark Interpreter即可

 

 

• 按图输入，测试代码，运行

 

 

 

10.Flink Interpreter 设置

 

• 新建flink Interpreter

 

 

• 新建笔记本

 

%flink 表示执行 flink代码

%flink case class WordCount(word: String, frequency: Int) val bible:DataSet[String] = benv.readTextFile("D://Test//10.txt.utf-8") val partialCounts: DataSet[WordCount] = bible.flatMap{ line => """\b\w+\b""".r.findAllIn(line).map(word => WordCount(word, 1)) // line.split(" ").map(word => WordCount(word, 1)) } val wordCounts = partialCounts.groupBy("word").reduce{ (left, right) => WordCount(left.word, left.frequency + right.frequency) } val result10 = wordCounts.first(10).collect()