使用VMware进行基于Ubuntu16.04LTS的Spark集群搭建

最新推荐文章于 2022-11-15 12:50:41 发布
最新推荐文章于 2022-11-15 12:50:41 发布
阅读量671 收藏 2
点赞数
分类专栏： 大数据学习

先说一下我用的软件or环境的版本：

VMware14.1.1

Ubuntu16.06.03

jdk1.8.0_161

Scala2.10.5

Python2.12（装Ubuntu后自带的）

Spark1.6.1-hadoop2.6

Hadoop2.6.4


步骤：

  1. 安装VMware。傻瓜式安装，提供两个激活序列号：FF31K-AHZD1-H8ETZ-8WWEZ-WUUVA、CV7T2-6WY5Q-48EWP-ZXY7X-QGUWD；

  2. 安装Ubuntu，用镜像安装，过程也很简单，无坑。这里只安装一台虚拟机，等配好一些环境后，再直接克隆出另外两台。我设置第一台虚拟机的名称为lch-Ubuntu-1，用户名为lch；

  3. 安装jdk。去官网下载，默认会下载到“/home/lch/下载”文件夹中，cd到该文件夹，执行以下代码，接下来，需要配置环境变量，这里先不配，一会一起配：

    [cpp]  view plain  copy
    1. sudo mkdir /usr/local/java //jdk解压目录  
    2. sudo tar xvf jdk-8u25-linux-x64.tar.gz -C /usr/local/java //解压  

  4. 安装Scala。去官网官网下载，和安装jdk一样，新建文件夹，解压：

    [cpp]  view plain  copy
    1. sudo mkdir /usr/local/scala  
    2. sudo tar -zxvf scala-2.12.4.tgz -C /usr/local/scala  

  5. 安装Spark。去官网下载，注意与Scala版本对应！注意与Scala版本对应！注意与Scala版本对应！重要的事说三遍。当然，我选择的Spark1.6.1-hadoop2.6和Scala2.10.5是对应的。和上面一样，两步，新建文件夹，解压：

    [cpp]  view plain  copy
    1. sudo mkdir /usr/local/spark  
    2. sudo tar -zxvf spark-1.6.1-bin-hadoop2.6.tgz -C /usr/local/spark  

    解压完成后，开始下一步，配置环境变量；

  6. 配置环境变量。先使用以下命令打开环境变量文件：

    [cpp]  view plain  copy
    1. sudo gedit ~/.bashrc  

    然后，在文件的末尾追加以下代码：

    [cpp]  view plain  copy
    1. //jdk  
    2. export JAVA_HOME=/usr/local/java/jdk1.8.0_161   
    3. export JRE_HOME=${JAVA_HOME}/jre    
    4. export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib    
    5. export PATH=${JAVA_HOME}/bin:$PATH  
    6. //scala  
    7. export SCALA_HOME=/usr/local/scala/scala-2.10.5   
    8. export PATH=${SCALA_HOME}/bin:$PATH  
    9. //spark  
    10. export SPARK_HOME=/usr/local/spark/spark-1.6.1-bin-hadoop2.6  
    11. export PATH=${SPARK_HOME}/bin:$PATH  

    保存并退出，在终端中输入以下代码使修改生效：

    [cpp]  view plain  copy
    1. source ~/.bashrc  

    接下来，需要测试jdk、scala和spark是否安装成功； 

  7. 测试。首先，使用“java -version”进行对jdk进行测试，终端中出现版本号即可。然后，使用“scala”对scala进行测试，能够进入scala shell即可。最后，使用“spark-shell”和“pyspark”对spark进行测试，分别出现如下图中红框内部分即可；


  8. 修改本机名称。先使用以下命令查询本机ip。

    [cpp]  view plain  copy
    1. ifconfig -a  


    然后使用以下命令修改该文件中的本机名称：

    [cpp]  view plain  copy
    1. sudo gedit /etc/hostname  

    将其中的lch-Ubuntu-1修改为master，然后执行以下命令：

    [cpp]  view plain  copy
    1. sudo gedit /etc/hosts  

    将其中的lch-Ubuntu-1修改为master，并添加如下代码（此时我们还没有slave，但是克隆出来的slave的ip一般是连号的，记住，不能删除这个文件里的localhost），然后重启虚拟机；

    [cpp]  view plain  copy
    1. 192.168.86.128      master  
    2. 192.168.86.129      slave1  
    3. 192.168.86.130      slave2  

  9. 安装SSH。使用以下命令安装SSH：

    [cpp]  view plain  copy
    1. sudo apt-get install openssh-server  

  10. 克隆虚拟机。先把虚拟机关机，使用VMware的克隆功能克隆出两台Ubuntu，这时，这两台新的Ubuntu的本机名应该也叫master，我们使用第8步中的方法（hosts文件不用改，克隆过来了），将两台Ubuntu的本机名分别改为slave1和slave2并重启使其生效；

  11. SSH免密。在三台Ubuntu的终端中输入以下命令，一直按回车就行。

    [cpp]  view plain  copy
    1. ssh-keygen -t rsa  
    然后将slave1与slave2上的id_rsa.pub用scp命令发送给master（注意，这里要将命令中的“lch”改为你对应的用户名）：
    [cpp]  view plain  copy
    1. scp ~/.ssh/id_rsa.pub lch@master:~/.ssh/id_rsa.pub.slave1  
    2. scp ~/.ssh/id_rsa.pub lch@master:~/.ssh/id_rsa.pub.slave2  

    在master上，将所有公钥加到用于认证的公钥文件authorized_keys中： 

    [cpp]  view plain  copy
    1. cat ~/.ssh/id_rsa.pub* >> ~/.ssh/authorized_keys  
    在master上，将公钥文件authorized_keys分发给每台slave：
    [cpp]  view plain  copy
    1. scp ~/.ssh/authorized_keys lch@slave1:~/.ssh/  
    2. scp ~/.ssh/authorized_keys lch@slave2:~/.ssh/  

    现在可以在三台机器上使用以下命令测试是否可以免密登陆了：

    [cpp]  view plain  copy
    1. ssh master  
    2. ssh slave1  
    3. ssh slave2  

  12. 安装hadoop。去官网下载，然后新建文件夹、解压：

    [cpp]  view plain  copy
    1. sudo mkdir /usr/local/hadoop  
    2. sudo tar -zxvf hadoop-2.6.4.tar.gz -C /usr/local/hadoop  

    进入“/usr/local/hadoop/hadoop-2.6.4/etc/hadoop”目录，对以下文件进行配置：

    [cpp]  view plain  copy
    1. //hadoop-env.sh  
    2. export JAVA_HOME=/usr/local/hadoop/hadoop-2.6.4/jdk1.8.0_165  
    [cpp]  view plain  copy
    1. //yarn-env.sh  
    2. export JAVA_HOME=/usr/local/hadoop/hadoop-2.6.4/jdk1.8.0_165  
    [cpp]  view plain  copy
    1. //slaves（把文件里的localhost删掉）  
    2. slave1  
    3. slave2  
    [html]  view plain  copy
    1. core-site.xml（自行设计路径，文件夹需要自己手动创建）  
    2. <configuration>  
    3.     <property>  
    4.         <name>fs.defaultFS</name>  
    5.         <value>hdfs://master:9000/</value>  
    6.     </property>  
    7.     <property>  
    8.          <name>hadoop.tmp.dir</name>  
    9.          <value>file:/home/lch/hadoop264/tmp</value>  
    10.     </property>  
    11. </configuration>  
    [html]  view plain  copy
    1. hdfs-site.xml（自行设计路径，文件夹需要自己手动创建）  
    2. <configuration>  
    3.     <property>  
    4.         <name>dfs.namenode.secondary.http-address</name>  
    5.         <value>master:9001</value>  
    6.     </property>  
    7.     <property>  
    8.         <name>dfs.namenode.name.dir</name>  
    9.         <value>file:/home/lch/hadoop264/namenode</value>  
    10.     </property>  
    11.     <property>  
    12.         <name>dfs.datanode.data.dir</name>  
    13.         <value>file:/home/lch/hadoop264/datanode</value>  
    14.     </property>  
    15.     <property>  
    16.         <name>dfs.replication</name>  
    17.         <value>3</value>  
    18.     </property>  
    19.     <property>  
    20.         <name>dfs.webhdfs.enabled</name>  
    21.         <value>true</value>  
    22.     </property>  
    23. </configuration>  
    [html]  view plain  copy
    1. mapred-site.xml（不用改）  
    2. <configuration>  
    3.     <property>  
    4.         <name>mapreduce.framework.name</name>  
    5.         <value>yarn</value>  
    6.     </property>  
    7. </configuration>  
    [html]  view plain  copy
    1. yarn-site.xml（不用改）  
    2. <configuration>  
    3.     <property>  
    4.         <name>yarn.nodemanager.aux-services</name>  
    5.         <value>mapreduce_shuffle</value>  
    6.     </property>  
    7.     <property>  
    8.         <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>  
    9.         <value>org.apache.hadoop.mapred.ShuffleHandler</value>  
    10.     </property>  
    11.     <property>  
    12.         <name>yarn.resourcemanager.address</name>  
    13.         <value>master:8032</value>  
    14.     </property>  
    15.     <property>  
    16.         <name>yarn.resourcemanager.scheduler.address</name>  
    17.         <value>master:8030</value>  
    18.     </property>  
    19.     <property>  
    20.         <name>yarn.resourcemanager.resource-tracker.address</name>  
    21.         <value>master:8035</value>  
    22.     </property>  
    23.     <property>  
    24.         <name>yarn.resourcemanager.admin.address</name>  
    25.         <value>master:8033</value>  
    26.     </property>  
    27.     <property>  
    28.         <name>yarn.resourcemanager.webapp.address</name>  
    29.         <value>master:8088</value>  
    30.     </property>  
    31. </configuration>  

    在两台slave中创建和master一致的hadoop文件夹，并在三台机器中均使用以下命令进行文件夹的权限设置：

    [cpp]  view plain  copy
    1. sudo chmod -R 777 /usr/local/hadoop  

    此时可以将配置好的hadoop-2.6.4文件夹分发给所有slave了：

    [cpp]  view plain  copy
    1. scp -r /usr/local/hadoop/hadoop-2.6.4 lch@slave1:/usr/local/hadoop/  
    2. scp -r /usr/local/hadoop/hadoop-2.6.4 lch@slave2:/usr/local/hadoop/  

    分发完成后，再次在两台slave中对hadoop文件夹进行权限设置：

    [cpp]  view plain  copy
    1. sudo chmod -R 777 /usr/local/hadoop  

    使用cd命令切换到hadoop主目录，格式化namenode后，启动：

    [cpp]  view plain  copy
    1. ./bin/hadoop namenode -format  
    2. ./sbin/start-all.sh  

    在三台机器的终端中分别输入jps命令（下图是master和slave1，slave2和slave1是一样的），看到如下图即代表启动成功，可以使用“./sbin/stop-all.sh”进行关闭；


  13. 再次配置spark。先使用如下命令将两台slave中的spark文件删除（一会再从master传过来）：

    [cpp]  view plain  copy
    1. sudo rm -rf /usr/local/spark/spark-1.6.1-bin-hadoop2.6  

    然后，在master上cd到spark的根目录下的conf目录中，修改以下文件（没有该文件则新建该文件）：

    [cpp]  view plain  copy
    1. //spark-env.sh  
    2. export SCALA_HOME=/usr/local/scala/scala-2.10.5  
    3. export JAVA_HOME=/usr/local/java/jdk1.8.0_161  
    4. export HADOOP_HOME=/usr/local/hadoop/hadoop-2.6.4  
    5. export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop  
    6. export SPARK_MASTER_IP=master  
    7. export MASTER=spark://192.168.86.128:7077  
    8. export SPARK_LOCAL_DIRS=/usr/local/spark/spark-1.6.1-bin-hadoop2.6  
    9. export SPARK_DRIVER_MEMORY=512M  
    [cpp]  view plain  copy
    1. //slaves（把文件中自带的localhost删除）  
    2. master  
    3. slave1  
    4. slave2  

    同样的，在三台机器上使用chmod命令给文件夹赋予权限：

    [cpp]  view plain  copy
    1. sudo chmod -R 777 /usr/local/spark  

    此时可以将配置好的spark-1.6.1-bin-hadoop2.6文件夹分发给所有slave了：

    [cpp]  view plain  copy
    1. scp -r /usr/local/spark/spark-1.6.1-bin-hadoop2.6 lch@slave1:/usr/local/spark/  
    2. scp -r /usr/local/spark/spark-1.6.1-bin-hadoop2.6 lch@slave2:/usr/local/spark/  

    在两台slave中再次对文件夹赋予权限：

    [cpp]  view plain  copy
    1. sudo chmod -R 777 /usr/local/spark  

    此时，配置已完成，使用cd命令切换到spark主目录，进行启动：

    [cpp]  view plain  copy
    1. ./sbin/start-all.sh  

    在三台机器的终端中分别输入jps命令（图示是master和slave1），看到如下图即代表启动成功，可以使用“./sbin/stop-all.sh”进行关闭；


  14. 集群测试。在spark启动成功后，在master的终端中cd到spark根目录，执行以下代码（spark自带的一个例子），出现结果即为成功：

    [cpp]  view plain  copy
    1. ./bin/run-example org.apache.spark.examples.SparkPi  

下面是我装的过程中碰到的坑及解决办法（其实我已经把正解都写在安装过程中，所以这里只有下面提到的一个坑），解决办法转自一个博客，若侵则删：


附上几个我也不知道是干嘛的代码（也是我尝试用来解决上述问题用的）：

[cpp]  view plain  copy
  1. chmod go-w ~/  
  2. chmod 700 ~/.ssh  
  3. chmod 600 ~/.ssh/authorized_keys  

转载地址：http://blog.csdn.net/ms961516792/article/details/79115383

With__Sunshine
关注
  • 0
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
VMware14.0.0版本虚拟机安装Ubuntu16.04 LTS版本Linux系统图文教程
09-15
在本文中，我们将深入探讨如何使用VMware 14.0.0版本虚拟机安装Ubuntu 16.04 LTS（长期支持版）Linux操作系统。这个过程分为几个关键步骤，涵盖了从准备工作到安装配置的全过程。 首先，我们需要做的是前期准备工作...
虚拟机VMware spark的安装教程
XUYH6904的博客
04-20 778
1.创建一个空文件夹 2.解压安装包到文件夹中 3. 进入目录 4.重命名文件夹 5.打开spark进行编译
spark本地安装教程
qq_41358574的博客
11-15 2205
你可以输入一条语句，pyspark会立即执行语句并返回结果，这就是我们所说的REPL（Read-Eval-Print Loop，交互式解释器），为我们提供了交互式执行环境，表达式计算完成就会输出结果，而不必等到整个程序运行完毕，因此可即时查看中间结果，并对程序进行修改，这样可以在很大程度上提升开发效率。32、Hadoop 可以在单节点上以伪分布式的方式运行，Hadoop 进程以分离的 Java 进程来运行，节点既作为 NameNode 也作为 DataNode，同时，读取的是 HDFS 中的文件。
基于Ubuntu虚拟机的Spark简单集群搭建(一)
weixin_44607838的博客
07-24 1959
基本介绍 作为一个Big Data领域的小白，最近自己尝试搭建了一个简易的spark集群。因此打算写篇博客记录一下整个过程。但是担心把所有部分放在一篇文章中可能导致文章过长，因此打算写成两篇。在这篇文章中，我会详细地介绍spark集群搭建的第一部分，hadoop集群的搭建。 环境介绍 虽说是一个集群，但是我总共只使用了两台ubuntu虚拟机，其中一个作为master节点,另一个作为worker节点。如果你想尝试使用更多的机器来搭建集群，也同样可以参考我的搭建过程，因为本质上差别不大。OK，下面我们
VMware虚拟机CentOS7系统上安装spark
每天更新大数据面经和技术
06-10 936
VMware虚拟机CentOS7系统上安装spark 新建一个文件夹安装软件： sudo mkdir /opt/software 解压spark: sudo tar -zxvf spark-2.4.5-bin-hadoop2.7.tgz -C /opt/software/ 重命名一下： sudo mv spark-2.4.5-bin-hadoop2.7/ spark-2.4.5 配置环境变量： sudo vim /etc/profile.d/env.sh 添加内容： export JAVA_HOME
ubuntu16.04_spark2.2.1集群搭建
04-08
ubuntu16.04_spark2.2.1集群搭建------------------------------------------------------------------------------------------------------------------
ubuntu16.04LTS.rar
03-16
Ubuntu Linux是由南非人Mark Shuttleworth创办的基于Debian Linux的操作系统，开于2004年10月公布Ubuntu的第一个版本(Ubuntu4.10 Warty Warthog)。Ubuntu适用于笔记本电脑、桌面电脑和服务器，特别是为桌面用户提供...
VMware下Ubuntu16.04镜像完整安装教程
01-11
本文为大家分享了VMware 12 下 Ubuntu 16.04镜像 安装教程，供大家参考，具体内容如下 1）安装前准备 PC电脑操作系统是WIN7，已正确安装虚拟机VMware 12。 2）安装Ubuntu 16.04镜像 下载Ubuntu镜像文件，下载链接 ...
详解从Ubuntu 14.04 LTS版升级到Ubuntu 16.04 LTS
09-15
Ubuntu 16.04 (Xerial Xerus) Long Term Support版于最近发布了。要想了解它的新功能和新特性，就必须升级或安装这个新系统。本文介绍了从Ubuntu 14.04 LTS版升级到Ubuntu 16.04 LTS。
Hadoop集群+Spark集群搭建基于VMware虚拟机教程+安装运行Docker
qq_43775006的博客
05-30 3044
Hadoop集群搭建 一、准备工作 1.软件工具 若虚拟机应未安装则根据以下连接进行安装，若已安装则往下看： VMware Fusion: https://www.vmware.com/cn/products/fusion/fusion-evaluation.html JDK 1.8 (jdk-8u221-linux-x64.rpm) Hadoop 2.7.7 (hadoop-2.7.7.tar.gz) Spark 3.1.1 (spark-3.1.1-bin-hadoop2.7.tgz） .
CNN中激活函数，优化器，损失函数的选择
u012524708的专栏
03-16 2万+
一 激活函数 关于激活函数的定义，该论文的作者有提到，激活函数的定义 如果没有激活函数，那么该网络仅能够表达线性映射，此时即便有再多的隐藏层，其整个网络跟单层神经网络也是等价的。因此也可以认为，只有加入了激活函数之后，深度神经网络才具备了分层的非线性映射学习能力。激活函数不是真的要去激活什么。在神经网络中，激活函数的作用是能够给神经网络加入一些非线性因素，使得神经网络可以更好地...
求Jordan标准型的方法
热门推荐
lch的博客
02-28 4万+
目标跟踪系列三：ECO: Efficient Convolution Operators for Tracking（2016年11月）
眼观
01-12 3万+
Visual Tracking领域大牛（至少我认为是这个领域的大牛）Martin Danelljan又出新作。继C-COT之后又一刷新纪录的作品。不管是从结果还是速度上都有提升，尤其是速度提升明显。用传统特征HOG+CN的版本速度有60+FPS，用CNN+HOG+CN的速度有8FPS，从跟踪效果来看，个人认为可以算一个出色的作品。 C-COT是2016年ECCV的文章，下次有空再讲。 ECO文
uvali5697(DP)
lch的博客
08-12 452
题意： 给出一个由I、D和？组成的串，串的长度是n，我们要根据串的规则构造出满足的由1~n+1组成的数列，其中每个数字只出现一次。串的规则定义如下： 如果当前字母是I，我们要保证这一位的数字要比前一位大，如果是D，则比前一位小，？代表都可以。请求出满足串的规则的数列的个数。 思路： 首先我们构造状态如下： dp[i][j]=k 表示我们用1~i这些数字构造前i位且第i位是j的情况
从FocalLoss到hardsample
大泽之国
06-01 3064
Focus Loss 何凯明大神在2017年的论文中提出Focus loss 论文 Focus Loss是一种处理深度学习中正负样本不均衡的方法. 它并没有固定形式,应该算是一种思路: 降低non-hard-sample的loss, 提高hard-sample的loss. 以二分类cross entropy loss为例 L(y,y0)=−log(Py)L(y,y0)=−log(Py...
uvalive5843(最大流)
lch的博客
08-15 318
转载自：http://vawait.com/uvalive-5843/ 题意： 给出n个工人，给出m个命令，每条命令给出这条命令的最早开始时间、最晚结束时间和完成这条命令所需要的时间，求出一种方案使得完成时间最早。 思路： 源点到每个工作添加流为工作时间，从工作到每个时间点添加流为1，从每个时间点到汇点添加流为工人数目。 代码： #include #includ
搭建spark集群
HTY_yysd的博客
03-21 3991
一、搭建集群 （一）私有云上创建三台虚拟机 创建配置过程，参看本博《 在私有云上创建与配置虚拟机》 （二）利用SecureCRT登录三台虚拟机 打开连接对话框 1.登录master 在master虚拟机上安装vim编辑器 执行命令：vi /etc/resolv.conf，修改/etc/resolv.conf文件 添加两个域名服务器 存盘退出 执行命令：yum -y install vim 现在我们通过/et...
搭建Spark Standalone模式的集群
snow703323的博客
06-14 386
一、执行命令：vi /etc/resolv.conf，修改/etc/resolv.con 添加两个域名服务器 存盘退出 执行命令：yum -y install vim 二、测试master能否访问外网 三、登陆slave1，执行命令：vi /etc/resolv.conf，添加域名解析服务器 存盘退出后，执行命令：yum - install vim，安装vim编辑器 四、登陆slave2与slave1一样操作 （三）查看三台虚拟机主机名 ......
ubuntu 16.04 lts ios
最新发布
09-09
Ubuntu 16.04 LTS是一款长期支持版本的Linux操作系统，可以在个人电脑和服务器上使用。它提供了稳定性，安全性和易用性。 Ubuntu 16.04 LTS的核心是一个名为Unity的桌面环境。Unity界面简洁直观，提供了启动器和...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值