Spark
我是个大bug
这个作者很懒,什么都没留下…
展开
-
[Zeppelin] Spark解释器如何安装Jar包
文章目录0. 环境说明1. 不安装Jar包2. 笨办法安装Jar包3. 更方便的办法4. 试过但不管用的方法5. 可能遇到的问题之前的文章中我们介绍了如何在Zeppelin中使用不同运行模式的Spark解释器,以及如何进行用户模拟,当我们在实际使用Spark解释器的过程中会遇到一个不可避免的需求:用户需要使用Spark自带库以外的功能,比如需要从Spark中读写MySQL,这种时候就需要安装 m...原创 2019-11-09 13:19:51 · 963 阅读 · 0 评论 -
[Zeppelin] Kerberos环境Spark用户模拟踩坑全集
文章目录Kerberized SparkZeppelin连接Kerberized Spark用户模拟配置用户认证获取超级管理员keytab配置用户模拟TroubleshootJAR包版本冲突Zeppelin重启后无法登录没有安装Spark客户端如何验证Spark解释器正常工作总结在上一篇文章里我们在Zeppelin中使用了local模式的Spark解释器,而在本文中,我们将学习如何在Zeppel...原创 2019-11-07 12:47:15 · 1713 阅读 · 0 评论 -
[Zeppelin] 如何配置、使用和调试local模式的Spark解释器
文章目录背景配置Spark解释器使用Spark解释器TroubleShootingnetty包版本冲突zlib库不可用jackson-databind包版本冲突总结背景之前我们分别安装过Zeppelin和Spark,在本文和下一篇文章里我们学习如何通过Zeppelin来使用Spark解释器,这篇文章介绍local模式,下一篇文章介绍启用了Kerberos认证的on Yarn模式,这篇文章介绍l...原创 2019-11-06 08:06:14 · 1825 阅读 · 0 评论 -
[Spark 基础] 如何安装Spark和使用spark-shell
文章目录背景前置条件下载安装包运行example运行模式使用spark-shell背景Apache Spark 是一个快速的、分布式的通用计算引擎,支持Java、Scala、Python和R多种语言,同时在计算引擎之上提供了多种工具,比如处理SQL和结构化数据的 Spark SQL,用于机器学习的 MLlib,用于图处理的 GraphX 和用于流计算的的 Spark Streaming。在这...原创 2019-11-05 07:16:04 · 859 阅读 · 0 评论