Spark
bboy枫亭
技术栈:
Java、Python、Scala、Shell
大数据开发
Linux
展开
-
Windows 安装配置 PySpark 开发环境(详细步骤+原理分析)
文章目录1.Python开发Spark的环境配置详细步骤1.1 Windows 配置 python 环境变量1.2 Windows 配置 spark 环境变量1.3 Python中安装py4j1.4 Python中安装PySpark模块WordCount 测试环境是否配置成功2. Python 开发 Spark原理1.Python开发Spark的环境配置详细步骤1.1 Windows 配置 python 环境变量这个比较简单,安装原生的 Python 或者 Anaconda 都可以,至于步骤这里就不多原创 2020-09-22 08:50:53 · 2608 阅读 · 0 评论 -
ERROR Shell:396 - Failed to locate the winutils binary in the hadoop binary path java.io.IOE...
ERROR Shell:396 - Failed to locate the winutils binary in the hadoop binary path java.io.IOException: Could not locate executable null\bin\winutils.exe in the Hadoop binaries.文章目录1. 错误描述2. 解决步骤2.1 下载对应版本的 hadoop 文件并解压配置。2.2 `copy` 文件到 `Sysytem32` 下2.3 配置原创 2020-09-21 15:06:13 · 2665 阅读 · 0 评论