![](https://img-blog.csdnimg.cn/20201014180756918.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
PySpark
morven936
这个作者很懒,什么都没留下…
展开
-
PySpark(一): Hadoop SingleNode部署下Spark on yarn
环境: MacOX系统 Java: 8 Scala: 2.12.4 Hadoop: 2.7.7 Spark: 2.4.0 文章目录1. 准备工作2. 配置并启动Hadoop1. 配置3. 初始化HDFS3. 启动/停止2. Spark配置并启动1. 配置2.启动4. 遇到的问题: 1. 准备工作 安装Java, Scala, 并下载Spark及其相应版本的Hadoop; 编辑~/.zsh...原创 2019-08-21 22:55:01 · 316 阅读 · 1 评论 -
PySpark(二): 在IPython Notebook上使用Spark
文章目录1. 准备2. 启动3. 测试 上一篇博客: PySpark(一): Hadoop SingleNode部署下Spark on yarn 1. 准备 1. 将Hadoop启动 2. 安装: Anaconda 创建虚拟环境 conda create -n venv python=2.7 安装Ipython Notebook conda install ipython ipython...原创 2019-08-22 22:24:23 · 508 阅读 · 0 评论