Spark
keineahnung2345
这个作者很懒,什么都没留下…
展开
-
如何在jupyter notebook裡運行Spark及Scala
本篇譯自:How to run Scala and Spark in the Jupyter notebook。文中介紹了從安裝套件、創建Kernel spec,到啟動jupyter notebook及測試Scala程式的完整流程。翻译 2018-12-03 10:57:53 · 1669 阅读 · 0 评论 -
Zeppelin+Mesos:Failed to connect to xx.xx.xx.xx:5050
這是筆者依照Apache Zeppelin on Spark Cluster Mode - Spark on Mesos mode的教學架設Zeppelin+Mesos時所出現的錯誤。在構建好docker image並啟動docker container後,可以打開http://xx.xx.xx.xx:5050/#/。但是卻不時會在網頁彈出Failed to connect to xx.xx.xx.xx:5050!,以下是螢幕截圖。原创 2018-12-31 16:53:20 · 750 阅读 · 0 评论 -
使用docker stack建構跨主機PySpark+Jupyter集群
在前篇如何在30秒內建構Spark環境–使用docker-compose 踩坑實錄中介紹了使用docker-compose在一台機器架設PySpark+Jupyter環境的方法。在本篇中,會延續前篇,將原本單機版的環境擴展到多主機的集群,並且加入visualizer,讓我們可以在網頁中監控docker集群。在布署compose application到swarm集群時,可以使用自帶的overlay driver來讓分布在多機上的container可以互相溝通。原创 2018-12-19 08:37:40 · 502 阅读 · 0 评论 -
CentOS下Zeppelin中R的配置教程
使用CentOS下安裝Zeppelin中的步驟安裝完Zeppelin後,就可以直接在上面進行Spark編程。但是如果想要在上面運行R的程序,則還需要另外配置。本篇參考了R Interpreter for Apache Zeppelin這份官網上的教學。原创 2018-12-29 10:44:14 · 692 阅读 · 0 评论 -
如何除Zeppelin的錯?
本篇記錄了一些簡單的Zeppelin除錯方法。包括重啟interpreter,查看log,重啟Zeppelin等方法。原创 2018-12-29 09:31:40 · 244 阅读 · 0 评论 -
CentOS下安裝Zeppelin
一開始照著Zeppelin - Install的教學來安裝Zeppelin。安裝完成後想啟動zeppelin-daemon卻一直不成功。後來回去仔細看了官網的教學才發現原來Zeppelin必須有Java才能運行。原创 2018-12-29 09:18:16 · 984 阅读 · 0 评论 -
如何找出zeppelin的登入帳號密碼?
如果忘記了zeppelin的密碼該怎麼辦呢?我們可以登入zeppelin的運行主機,然後從設定檔中找出可用的帳戶密碼。本篇記錄了詳細的步驟。原创 2018-12-28 15:58:04 · 2776 阅读 · 0 评论 -
CentOS下安裝Java
本篇是筆者照著How to Install Apache Zeppelin on CentOS 7的教學安裝Java。原文中的dead link己被替換成可以用的連結。下載jdk的rpm包使用yum來安裝設定環境變量查看java版本原创 2018-12-28 15:30:44 · 457 阅读 · 0 评论 -
如何在30秒內建構Spark環境--使用docker-compose 踩坑實錄
本篇照著How To Have An Environment With Spark in Less Than 30 Seconds Thanks To Docker這個博客的教學,並且使用它的GitHub: bbvadata/docker-blog-example來建構PySpark+Jupyter環境。筆者運行這個項目時一共踩了三個坑,不想重蹈覆轍的同學可以使用keineahnung2345/docker-blog-example這個填完坑的版本。原创 2018-12-07 14:08:05 · 754 阅读 · 0 评论