在IPython Notebook运行Python Spark程序

最新推荐文章于 2020-12-08 19:39:38 发布
最新推荐文章于 2020-12-08 19:39:38 发布
阅读量230 收藏 1
点赞数
文章标签： spark
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Candylx/article/details/108930313
版权

  1. 下载Anaconda3-5.3.0-Linux-x86_64.sh
    在这里插入图片描述

  2. 安装Anaconda
    在这里插入图片描述

  3. 编辑~/.bashrc加入模块路径
    在这里插入图片描述

  4. 使~/.bashrc生效
    在这里插入图片描述

  5. 查看Python版本
    在这里插入图片描述

  6. 在IPython Notebook使用Spark
    创建ipynotebook工作目录
    在这里插入图片描述

  7. 在IPython Nodebook界面运行pyspark

    ![在这里插入图片描述](https://img-blog.csdnimg.cn/20201005171157482.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0NhbmR5bHg=,size_16,color_FFFFFF,t_70#pic_center)

在这里插入图片描述

  1. 在IPython Notebook运行程序代码
    在这里插入图片描述

  2. 读取本地文件程序代码
    在这里插入图片描述

  3. 读取HDFS文件程序代码
    需要先启动Hadoop
    start-all.sh
    在这里插入图片描述
    再次启动jupyter

  4. 输入读取HDFS文件程序代码
    在这里插入图片描述
    保存Nodebook

  5. 使用IPython Notebook在Hadoop YARN-client模式运行
    (作业)
    使用IPython Notebook在Spark Stand Alone模式运行
    启动Spark Stand Alone
    在这里插入图片描述

  6. 启动IPython Notebook运行在Spark Stand Alone模式
    在这里插入图片描述

  7. 全部重新执行Notebook程序代码
    在这里插入图片描述

咸鱼在厦大
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
在IPython Notebook运行Python Spark程序 (1) 学习笔记九
停止的闹钟博客
08-15 228
安装Python最方便的方式是使用软件包来安装。安装Anaconda软件包时会同时安装很多软件包，包括IPython Notebook、NumPy、SciPy、Matplotlib。这几个使用与数据分析、科学计算上常用软件包。 IPython Notebook具备交互式界面，我们可以在Web界面输入Python命令后立刻看到结果。我们还可以将数据分析的过程和运行后的命令与结果存储成笔记本，下次打开...
python的notebook怎么用_怎么在ipython notebook上使用pyspark
weixin_39757739的博客
12-19 129
2.1.2　在Windows上安装与配置Spark本节介绍在Windows系统上安装Spark的过程。在Windows环境下需要安装Cygwin模拟Linux的命令行环境来安装Spark。(1)安装JDK相对于Linux、Windows的JDK安装更加自动化，用户可以下载安装Oracle JDK或者OpenJDK。只安装JRE是不够的，用户应该下载整个JDK。安装过程十分简单，运行二进制可执行文件...
在Ipython Notebook 运行 Python Spark 程序
Mikowoo007的博客
05-19 472
安装Anaconda Anaconda各版本_官网 Anaconda各版本_清华镜像 下载 wget https://mirrors.tuna.tsinghua.edu.cn/anaconda/archive/Anaconda2-2.5.0-Linux-x86_64.sh 安装 bash Anaconda2-2.5.0-Linux-x86_64.sh -b -b 是指batch，即批次安装，会自动省略阅读License条款，自动安装到 /home/hduser/anaconda2 路径 添加环境变量 s
在IPython Notebook运行Python Spark
SanFancsgo的博客
09-07 890
安装Anaconda 在continuum上下载Anaconda2-2.5.0 for Linux 终端命令行： wget https://repo.continuum.io/archive/Anaconda2-2.5.0-Linux-x86_64.sh bash Anaconda2-2.5.0-Linux-x86_64.sh -b -b 指batch，批次安装，自动省略阅读L...
IPython Notebook 运行python Spark程序
weixin_30915951的博客
09-04 146
1.安装pip 因为centos7.0自带的python系统是2.7.5，并没有安装pip,需要先安装pip $ wget https://bootstrap.pypa.io/get-pip.py $ python get-pip.py $ pip install numpy pandas scipy jupyter 　　 2.配置启动项 $ vim ./.bas...
notebook软件python_IPython Notebook 运行python Spark程序
weixin_39759995的博客
12-05 89
1.安装pip因为centos7.0自带的python系统是2.7.5，并没有安装pip,需要先安装pip$ wget https://bootstrap.pypa.io/get-pip.py$ python get-pip.py$ pip install numpy pandas scipy jupyter2.配置启动项$ vim ./.bashrcexport PYSPARK_DRIVER_P...
在 Spark 中使用 IPython Notebook
dengxun7056的博客
05-07 209
本文是从 IPython Notebook 转化而来，效果没有本来那么好。 主要为体验 IPython Notebook。至于题目，改成《在 IPython Notebook 中使用 Spark》也可以，没什么差别。为什么是 Spark？因为这两天在看《Spark 机器学习》这本书第 3 章，所以就顺便做个笔记。 简单介绍下，IPython notebook 对数据科学家来说是个交互地呈...
Spark+Ipython+notebook
weixin_42301867的博客
08-03 312
Spark+Ipython+notebook 安装Ipython+notebook pip install IPython pip install urllib3 （安装IPython Notebook的依赖） pip install jupyter （安装IPython Notebook） (以下为建议安装的包) pip install numpy pip install matplo...
在IPython Notebook运行Python Spark程序（2）学习笔记九
停止的闹钟博客
08-15 225
9.7使用IPython Notebook在Hadoop YARN-client模式运行 9.7.1启动IPython Notebook运行在Hadoop YARN-client模式 start-all.sh cd ~/pythonwork/ipynotebook PYSPARK_DRIVER_PYTHON=ipython PYSPARK_DRIVER_PYTHON_OPTS=“notebook”...
在Jupyter Notebook里运行PySpark
a1272899331的博客
05-10 4690
有两种方法 配置PySpark driver，当运行pyspark命令就直接自动打开一个Jupyter Notebook，此时shell端不会打开 正常启动Jupyter Notebook，然后用findSpark的package(我选了这种) 方法1：配置PySpark driver 去~/.bashrc文件添加配置PySpark driver的环境变量 export PYSPARK_...
在Spark中使用IPython Notebook
schwxd的博客
12-24 4075
IPython Notebook现已更名为Jupyter Notebook，是一种交互式的笔记本，是可以用来重建和分享包含动态代码、等式、可视化和解释文本的文档的Web程序。Spark提供了python解释器pyspark，可以通过IPython Notebook将Spark的pyspark以笔记本这种交互式更强的方式来访问。 [root@master ~]# IPYTHON_OPTS=
在IPython Notebook使用Spark
wqqGo的博客
06-25 663
PYSPARK_DRIVER_PYTHON=jupyter PYSPARK_DRIVER_PYTHON_OPTS="notebook" HAHOOP_CONF_DIR=/usr/local/hadoop/etc/hadoop MASTER=yarn-client pyspark
配置Ipython Nodebook 运行 Python Spark 程序
weixin_33817333的博客
06-24 629
配置Ipython Nodebook 运行 Python Spark 程序 1.1、安装Anaconda Anaconda的官网是https://www.anaconda.com,下载对应的版本； 1.1.1、下载Anaconda $ cd /opt/local/src/ $ wget -c https://repo.anaconda.com/archive/Anaconda3-5.2.0-Lin...
IPython中执行Python程序文件
小灰笔记
03-28 1万+
简单使用了一下之后，我觉得如果有机会（公司里面编码是极不自由的，也无所谓，我在公司不做数据分析），我肯定是更喜欢使用IPython作为我的Python shell环境了。简单的接触发现了不少我喜欢的功能。其中，在这种命令模式下能够方便地调用Python文件以及能够识别部分物理磁盘路径信息就是我比较喜欢的。        在IPython中集成了几个常用的shell命令，用起来确实感觉顺手了不少。
大数据基础（八） Spark 2.0.0下IPython和Notebook的安装配置
星门学派（Star School）
08-03 3714
环境： spark 2.0.0,anaconda2 如果装有Anaconda 就可以直接如下方式获得IPython界面的登陆，没有装Anaconda的参考最下边的链接自行安装ipython相关包。 vi ~/.bashrc export PYSPARK_DRIVER_PYTHON=ipython export PYSPARK_DRIVER_PYTHON_OPTS="notebook --
Python·Jupyter Notebook各种使用方法记录·持续更新
热门推荐
tina的博客
05-14 24万+
Python·Jupyter Notebook各种使用方法记录·持续更新标签（空格分隔）： PythonPythonJupyter Notebook各种使用方法记录持续更新 一 Jupyter NoteBook的安装 1 新版本Anaconda自带Jupyter 2 老版本Anacodna需自己安装Jupyter 二 更改Jupyter notebook的工作空间 1 方式一 2 方式二绝招绝招 三
ipython下怎么运行py文件_在IPython中执行Python程序文件的示例
weixin_39858245的博客
12-08 1901
简单使用了一下之后，我觉得如果有机会(公司里面编码是极不自由的，也无所谓，我在公司不做数据分析)，我肯定是更喜欢使用IPython作为我的Python shell环境了。简单的接触发现了不少我喜欢的功能。其中，在这种命令模式下能够方便地调用Python文件以及能够识别部分物理磁盘路径信息就是我比较喜欢的。在IPython中集成了几个常用的shell命令，用起来确实感觉顺手了不少。之前偶尔需要用到跟...
如何在Spark2.0.2中启动Ipython Notebook
明日韭菜
12-13 2376
spark2.0.2启动Ipython Notebook
Spark之python版机器学习算法--ipython notebook配置及测试
dataningwei的博客
03-21 1839
先说明一下我的环境配置： 操作系统：ubuntu14.04 64bit spark2.0.0 hadoop 2.7.1 scala-2.11.8 python 2.7.6 java1.7.0 1. 安装 ipython notebook安装步骤：1安装pip工具sudo apt-get install python-pip2 安装ipythonsudo apt-ge
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值