jupyter notebook on spark 远程配置

原创 2018年04月16日 11:52:29
环境: server : centos7 + annaconda2 + python2 + jupyter + spark+ hadoop
      client :  windows 10 + 浏览器

在服务器上安装spark + hadoop 集群之后,需要通过pyspark 来使用spark 集群,spark系统自带的只有pyspark命令行交互方式。目标是使用jupyter notebook 来进行交互调试。因此需要在服务器上部署anaconda2,以通过pip 安装jupyter 。
部署jupyter 之后,一般使用jupyter notebook 命令会在本地启用一个服务,此时可以在客户端浏览器访问。

https://blog.csdn.net/xmo_jiao/article/details/72674687?utm_source=itdadao&utm_medium=referral

重点在于pyspark 与jupyter 的连接配置:
(1) 配置jupyter 的配置,确定地址、端口和不启用浏览器
 jupyter notebook --generate-config
 vi /home/hadoop/.jupyter/jupyter_notebook_config.py
 增加如下几行:
c.NotebookApp.ip='192.168.12.7'
c.NotebookApp.open_browser=False
c.NotebookApp.port=8888

(2) /home/hadoop/.bashrc  (启动spark的用户目录下配置)
export PYSPARK_DRIVER_PYTHON=jupyter
export PYSPARK_DRIVER_PYTHON_OPTS="notebook"
export PATH="/anaconda2/bin:$PATH"  (非必需)
source ./bashrc
(3) 启动pyspark
 $SPAR_HOME/bin/pyspark
(4) 远程访问
  浏览器访问 http://192.168.12.7:8888
 
   测试
    from pyspark import *
    print("pyspark remote access")
j

IPython与Jupyter Notebook实验环境配置和使用视频教程

-
  • 1970年01月01日 08:00

在Jupyter notebook中配置和使用spark

步骤1:安装jupyter 这里安装集成环境包Anaconda 下载地址及安装方法:https://www.continuum.io/downloads 步骤2: 下载spark http://sp...
  • cheng9981
  • cheng9981
  • 2017-02-22 19:43:27
  • 3297

详解 jupyter notebook 集成 spark 环境安装

来自: 代码大湿 代码大湿1 相关介绍 jupyter notebook是一个Web应用程序,允许你创建和分享,包含活的代码,方程的文件,可视化和解释性文字。用途包括:数据的...
  • u014612752
  • u014612752
  • 2016-07-03 15:05:09
  • 6253

Linux下远程连接Jupyter+pyspark部署教程

博主最近试在服务器上进行spark编程,对于一个追(懒)求(到)便(极)利(致)的人来说,没有一个良好的编程环境,又怎能爆发出心中的小宇宙,最多也就是爆出几条草泥马。因此,在开始编程作业之前,要先搭建...
  • RayCchou
  • RayCchou
  • 2016-04-28 11:39:52
  • 4058

Jupyter配置Spark开发环境

效果图 简介 Spark Kernel的安装 Spark Kernel旧的项目 Toree新项目 Spark组件单独安装 Scala Kernel的安装 PySpark的安装效果图无图无真相,以下是运...
  • u012948976
  • u012948976
  • 2016-08-30 20:34:12
  • 5723

jupyter与spark kernel结合的notebook安装及使用

Install Jupyter and Python Install a kernel other than Python(以Scala为例) Install Spark-kernel...
  • heng_2218
  • heng_2218
  • 2016-03-29 15:04:27
  • 10924

Jupyter Notebook远程服务器配置

Jupyter Notebook远程服务器配置
  • u013473520
  • u013473520
  • 2016-02-19 11:26:55
  • 18149

jupyter配置scala和Spark学习环境

jupyter配置scala和Spark支持。 Jupyter Notebook(此前被称为 IPython Notebook)是一个交互式笔记本,支持运行 40 多种编程语言。Jupyter Not...
  • qq_30901367
  • qq_30901367
  • 2017-06-15 18:27:55
  • 1949

设置 jupyter notebook 可远程访问

首先是要 安装 Anaconda 。默认情况下,安装好 Anaconda 后打开 jupyter notebook, 访问本地 localhost:8888 即可。但是如果要访问另一台机器,比如远...
  • simple_the_best
  • simple_the_best
  • 2017-08-09 17:08:08
  • 4871

服务器(CentOS7)配置Jupyter Notebook远程访问

服务器(CentOS7) 配置Jupyter Notebook远程访问
  • sinat_41525226
  • sinat_41525226
  • 2017-12-27 11:08:18
  • 172
收藏助手
不良信息举报
您举报文章:jupyter notebook on spark 远程配置
举报原因:
原因补充:

(最多只允许输入30个字)