Mac下安装spark,并配置pycharm-pyspark完整教程

最近在学spark,先学习在Mac上安装spark,然后由于本人经常用Python,所以还要配置一下pyspark+pycharm,网上的教程大多不全,现将本人搭建的完整过程分享如下。

参考:

https://www.cnblogs.com/ostrich-sunshine/p/8414677.html

https://www.jianshu.com/p/31c7f6a5fc7e

https://www.jianshu.com/p/31c7f6a5fc7e

https://blog.csdn.net/ringsuling/article/details/84448369

https://www.cnblogs.com/zeppelin/p/8053795.html

1、安装Java环境

  1. 首先查看,电脑上是否装了jdk。

    在终端输入  java -version 

    如果没有安装过jdk会提示 需要安装jdk。

  2. jdk下载地址是如下网址,我下的jdk8

    http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html

  3. 下载之后就打开dmg,安装。

    在资源库下,可以查看文件的路径。

输入 java -version  查看java的版本。

如果输出版本信息,说明jdk安装成功。

 

​​2、安装软件包管理工具:brew,用于安装hadoop

执行以下命令即可安装brew最新版本(https://github.com/Homebrew/install)

/usr/bin/ruby -e "$(curl -fsSL https://raw.githubusercontent.com/Homebrew/install/master/install)"

3、配置SSH

配置ssh就是为了能够实现免密登录,这样方便远程管理Hadoop并无需登录密码在Hadoop集群上共享文件资源 。

如果你的机子没有配置ssh的话,输入ssh localhost提示需要输入你的电脑登录密码,配置好ssh之后,就不需要输入密码了。

配置ssh的步骤如下:

(1)在终端输入:ssh-keygen -t rsa,之后一路enter键就行,如果之前进行过,则会提示是否覆盖之前的key,输入y即可,会进行覆盖。

(2)终端执行:cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys,用于授权你的公钥到本地可以无需密码实现登录。

此时就可以免密登录了,但是本人在执行ssh localhost后,出现了如下报错:

ssh : connect to host localhost port 22: Connection refused.

连接被拒绝。

解决方法:

选择系统偏好设置->选择共享->勾选远程登录。

之后再执行ssh localhost就可以登录成功了。如图:

4、安装hadoop

Hadoop依赖于Java环境,所以要先装Java环境

命令行执行:brew install hadoop

安装成功之后,在/usr/local/Cellar 目录下,会看到有个hadoop目录。

5、配置Hadoop

5.1配置hadoop-env.sh

进入安装目录/usr/local/Cellar/hadoop/3.0.0/libexec/etc/hadoop(注意安装目录是你自己的目录,与我的不一定相同),

找到hadoop-env.sh文件,将

export HADOOP_OPTS="$HADOOP_OPTS -Djava.net.preferIPv4Stack=true"

改为:

exportHADOOP_OPTS="$HADOOP_OPTS-Djava.net.preferIPv4Stack=true -Djava.security.krb5.realm= -Djava.security.krb5.kdc="exportJAVA_HOME="/Library/Java/JavaVirtualMachines/jdk1.8.0_172.jdk/Contents/Home"

(JDK的路径,按照自己的实际情况进行配置即可)

附:查看jdk路径的方法

在控制台中输入

/usr/libexec/java_home -V

5.2配置hdfs地址和端口

进入hadoop安装目录:/usr/local/Cellar/hadoop/3.0.0/libexec/etc/hadoop,编辑core-site.xml,

将<configuration></configuration>改为:

<configuration>

   <property>

       <name>hadoop.tmp.dir</name>

       <value>/usr/local/Cellar/hadoop/hdfs/tmp</value>

       <description>A base for other temporary directories.</description>

   </property>

   <property>

      <name>fs.default.name</name>

      <value>hdfs://localhost:8020</value>

  </property>

</configuration>

5.3  mapreduce中jobtracker的地址和端口

仍然在hadoop的安装目录下,编辑mapred-site.xml,将<configuration></configuration>改为:

<configuration>

      <property>

              <name>mapred.job.tracker</name>

              <value>localhost:8021</value>

     </property>

</configuration>

5.4  修改hdfs备份数

仍然在hadoop的安装目录下,编辑hdfs-site.xml,将<configuration></configuration>改为:

<configuration>

       <property>

                <name>dfs.replication</name>

               <value>1</value>

       </property>

</configuration>

5.5  格式化hdfs

这个操作相当于一个文件系统的初始化,执行命令:hdfs namenode -format

在终端最终会显示成功

5.6  配置Hadoop环境变量

终端执行:vim ~/.bash_profile,添加hadoop的环境变量:

export HADOOP_HOME=/usr/local/Cellar/hadoop/3.0.0/libexec

export PATH=$PATH:$HADOOP_HOME/sbin:$HADOOP_HOME/bin

5.7 启动关闭hadoop服务

进入目录:/usr/local/Cellar/hadoop/3.0.0/libexec/sbin下,执行如下命令:

./start-all.sh    启动hadoop命令

./stop-all.sh   关闭hadoop命令

启动成功后,在浏览器中输入http://localhost:8088,可以看到如下页面:

6、安装spark

6.1  安装spark 

进入Apache Spark官网进行Spark的下载,附Spark官网下载地址:http://spark.apache.org/downloads.html

下载完之后解压,在解压文件夹所在目录下打开终端,将解压后的文件夹移动到/usr/local/目录下,并改名为spark

sudo mv ./spark-2.0.2-bin-hadoop2.7 /usr/local/spark

上述命令中用你实际解压得到的名字,与我的不一定完全相同

注意:一定要用sudo,否则没有权限

6.2  配置环境变量

命令行输入:vim ~/.bash_profile进行编辑,增加环境变量:

export SPARK_HOME=/usr/local/spark

export PATH=$PATH:$SPARK_HOME/bin

然后保存退出,执行source  ~/.bash_profile,使之生效。

6.3  配置spark-env.sh

进入到Spark目录的conf配置文件中:cd /usr/local/spark/conf,执行命令:cp spark-env.sh.template spark-env.sh将spark-env.sh.template拷贝一份,然后打开拷贝后的spark-env.sh文件:vim spark-env.sh,在里面加入如下内容:

export SCALA_HOME=/usr/local/Cellar/scala/2.12.6

export SPARK_MASTER_IP=localhost

export SPARK_WORKER_MEMORY=4G

配置好之后,命令行执行:spark-shell,如果出现如下所示的画面,就表明spark安装成功了:

 

7、配置pycharm-pyspark

首先你要下载Python环境,pycharm

7.1 安装py4j

使用pip,运行如下命令:

pip install py4j

使用conda,运行如下命令:

conda install py4j

7.2 pycharm配置

使用pycharm创建一个project。

创建过程中选择python的环境。进入之后点击Run--》Edit Configurations--》Environment variables.

在弹出的窗口中输入两个路径

点击+,输入两个name,一个是SPARK_HOME,另外一个是PYTHONPATH,设置它们的values,

SPARK_HOME的value是安装文件夹spark-2.1.1-bin-hadoop2.7的绝对路径,例如我的SPARK_HOME的value是/usr/local/spark

PYTHONPATH的value是该绝对路径加上/python,例如我的PYTHONPATH的value是/usr/local/spark/python 。设置好了保存。(注意不管是路径的哪里,都不能有空格!!尤其是结尾!!)

还要配置两个压缩包,否则会报错

点击Pycharm-Preference中的project structure中点击右边的“add  content root”,添加py4j-some-version.zip和pyspark.zip的路径(这两个文件都在Spark中的python文件夹下)

至此,配置完成,写一个例子测试一下:

编写pyspark wordcount测试一下。我这边使用的是pyspark streaming程序。

代码如下:

WordCount.py

from pyspark import SparkContext
from pyspark.streaming import StreamingContext

# Create a local StreamingContext with two working thread and batch interval of 1 second

sc = SparkContext("local[2]", "NetWordCount")

ssc = StreamingContext(sc, 1)

# Create a DStream that will connect to hostname:port, like localhost:9999

lines = ssc.socketTextStream("localhost", 9999)

# Split each line into words

words = lines.flatMap(lambda line: line.split(" "))

# Count each word in each batch
pairs = words.map(lambda word: (word, 1))
wordCounts = pairs.reduceByKey(lambda x, y: x + y)

# Print the first ten elements of each RDD generated in this DStream to the console
wordCounts.pprint()

ssc.start()             # Start the computation
ssc.awaitTermination()  # Wait for the computation to terminate

先到终端运行如下命令:

$ nc -lk 9999

接着可以在pycharm中右键运行一下。然后在上面这个命令行中输入单词以空格分割:

我输入如下:

a b a d d d d 

然后摁回车。可以看到pycharm中输出如下结果:

 

Time: 2017-12-17 22:06:19
-------------------------------------------
('b', 1)
('d', 4)
('a', 2)

至此,完成。

相关推荐
©️2020 CSDN 皮肤主题: 编程工作室 设计师:CSDN官方博客 返回首页