Spark
文章平均质量分 69
asin929
这个作者很懒,什么都没留下…
展开
-
Spark-SQL的安装及使用
安装步骤下载编译了Hive的Spark版本 官网下载链接给出的都是编译过Hive的(至少1.6版可以确定是)。CDH自带的Spark都是没有带Hive的,若直接运行./spark-sql,会报错如下Caused by: java.lang.ClassNotFoundException: org.apache.hadoop.hive.cli.CliDriver at java.net.URLCl原创 2016-06-09 15:24:48 · 9480 阅读 · 0 评论 -
Spark-SQL--Thrift的安装及使用
安装及使用配置hive-site.xml 在Spark-SQL的安装及使用.md的基础上,继续对hive-site.xml进行配置,如下<?xml version="1.0" encoding="UTF-8"?><!--Autogenerated by Cloudera Manager--><configuration> <property> <name>hive.metasto原创 2016-06-09 15:39:54 · 5948 阅读 · 0 评论 -
Spark作业信息的获取
提前说明本文仅讨论运行在Yarn模式下作业信息的获取,至于获取其它模式下的作业信息,请见参考博文1。官方文档见Spark1.6.1–Monitoring and Instrumentation。作业信息的查看正在运行作业一般作业运行后,可打开http://<driver-node>:4040查看正在运行作业的情形,如下所示, 历史作业查看打开spark-defaults.conf文件,增加如原创 2016-06-09 22:26:11 · 8535 阅读 · 0 评论 -
Jupyter配置Spark开发环境
效果图简介Spark Kernel的安装Spark Kernel旧的项目Toree新项目Spark组件单独安装Scala Kernel的安装PySpark的安装效果图无图无真相,以下是运行截图,Jupyter运行界面: 作业监控界面: 简介为Jupyter配置Spark开发环境,可以安装全家桶–Spark Kernel或Toree,也可按需安装相关组件。考虑到一般人更喜欢一步到位,原创 2016-08-30 20:34:12 · 12837 阅读 · 2 评论 -
Eclipse安装Scala插件
scala插件的安装及使用获取首先进入scala-ide 主页,了解最新情形。注意scala-ide并不是一个独立的ide,它只是eclipse的一个插件。进入下载界面,获取最新下载链接–“http://download.scala-ide.org/sdk/lithium/e44/scala211/stable/site ”,特别注意该下载链接所适用的JDK和eclipse等版本,比如上述下载链接原创 2015-11-20 16:05:12 · 14050 阅读 · 0 评论 -
搭建Spark开发环境的几种方式及入门示例
命令行运行参见如何在CDH5上运行Spark应用 ,在终端就可以完成一个Spark程序的编写及运行。IDE篇Eclipse参见 Eclipse安装Scala插件 。TODO:补充运行截图。Idea参考Intellij Idea搭建Spark开发环境 。TODO:待补充截图。原创 2016-09-24 19:48:59 · 1631 阅读 · 0 评论 -
Spark的Notebook工具汇总
工具汇总当前Spark的Notebook工具主要有四个,Zeppelin 安装:Spark Interpreter for Apache ZeppelinSpark Notebook: 官网HUE 安装:HUE配置Spark Notebook Jupyter: 安装: Jupyter配置Spark开发环境 优缺点上述四个工具都有自己的特点,但侧重点不同。Jupyter是轻量级别的,原创 2016-10-27 23:32:14 · 5689 阅读 · 0 评论