SanFancsgo的博客

Spark的Cluster模式架构图摘自Apache官网：其中DriverProgram为设计的Spark程序，在Spark程序中必须定义SparkContext（开发Spark应用程序的入口）。SparkContext通过Cluster Manager管理整个集群，集群中包含多个Worker Node，在每个Worker Node中都有Executor负责执行任务Spa...

VirtualBox的下载与安装在Windows（版本10，64位）下安装VirtualBox 5.0（点击进入下载地址），选择“Windows hosts” 选择默认安装，直接点Next，Next,..Finish，完成安装。启动VirtualBox： 设置VirtualBox存储文件夹Virtual默认在C盘创建一个文件用于存储虚拟主机的所有数据，变更该文件到其他硬...

Ubuntu安装增强功能初始安装的Ubuntu会有些问题：屏幕分辨率不够鼠标光标停顿延迟无法与原系统共享剪切板安装增强功能（Guest Additions）来解决这些问题。点击菜单栏的”设备“–>安装增强功能按照提示进行安装。安装完成后，重启系统。...

Linux下配置Python Spark 集成开发环境PycharmPycharm下载：JetBrain官网http://www.jetbrains.com/pycharm/download/#section=linux 将下载之后的文件pycharm-community-2018.2.3.tar.gz移至主文件夹下进行解压安装： tar xvf pycharm-community...

终端命令以不同模式运行Python Spark在“终端”中以不同模式运行Python Spark程序需要输入很长的命令，例如分别以local、Hadoop YARN、和Spark Standalone模式运行Python Spark（这里以~/pythonwork/PythonProject/wordcount.py为例）每次都要输入命令：local: cd ~/pythonwork...

Hadoop Single Node Cluster安装Hadoop Single Node Cluster 可以用一台机器来建立Hadoop环境。Hadoop Single Node Cluster 只有一台服务器，整合了所有功能： 安装步骤：安装JDK：Hadoop是基于Java开发设置SSH无密码登录：Hadoop必须通过SSH与本地计算机以及其他主机连接，必须设置SS...