本地虚拟机通过hadoop和spark搭建分布式环境

最新推荐文章于 2024-04-26 18:08:02 发布

雨陌花开

最新推荐文章于 2024-04-26 18:08:02 发布

阅读量652

点赞数

分类专栏：大数据

本文链接：https://blog.csdn.net/fhi32987/article/details/79086687

版权

大数据专栏收录该内容

1 篇文章 0 订阅

订阅专栏

1. VM

2. VM 网卡配置

主机模式下修改静态IP

1.修改本地windows网卡配置

打开控制面板进入到网络和Internet 设置界面

点击进入网络和共享中心，点击更改适配器设置

当我们安装安装了vmpare软件后，会生成VMnet1和VMnet8俩个选项配置，这两个给虚拟机配置的。

我们采用主机模式的时候，需要修改VMnet1配置，点击右键属性进入，双击进入其中目录项Internet协议版本4（TCP/IPV4），

其中配置使用下面的IP地址，IP地址为192.168.150.2，会自动生成子网掩码，点击确定保存。

2.打开虚拟机做一下操作

vim/etc/sysconfig/network-scripts/ifcfg-eth0 进入修改模式

修改增加以下内容

ONBOOT=yes

BOOTPRPTO=none 之前是配置动态IP，改为配置静态IP

IPADDR=192.168.150.1

NETMAST=255.255.255.0

然后关闭防火墙

serviceiptables stop

serviceip6tables stop

serviceNetworkManager stop

保证在下次开机前防火墙仍然关闭

chkconfigiptables off

chconfigip6tables off

chconfigNetworkManager off

然后

getenforce enforce增强linux安全机制，get获取

setenforce0 设置

servicenetwork restart 重启网卡配置

ifconfig 查看网卡信息之前配置已经生效

这时候就可以在windos通过xshell连接虚拟机了。

3. 修改主机名

vi /etc/sysconfig/network 编辑修改名称

vi /etc/hosts 增加三台机器的解析

192.168.130.180 hadoop01

192.168.130.181 hadoop02

192.168.130.182hadoop03

4. 配置机器内免ssh登录

在mast上先执行

ssh-keygen -t rsa（回车）

执行完后再执行,copy到目标机器上，根据提示输出密码等。

ssh-copy-id 192.130.181

或者采用scp命令进行分发如下

scp~/.ssh/id_rsa.pub root@master:~/.ssh/id_rsa.pub.datanode01

在这之后需要scp命令对主机进行分发文件。

运行ssh命令严重无密码通信

ssh master

ssh datanode01

sshdatanode02

5. 安装jdk

1)先检查当前系统是否安装了jdk，如果安装了jdk，是不是需要的版本，是否要卸载

查看安装的jdk

rpm -qa|grep jdk

可能看到类似如下的配置

java-1.7.0-openjdk-1.7.0.45-2.4.3.3.el6.x86_64

java-1.6.0-openjdk-1.6.0.0-1.66.1.13.0.el6.x86_64

如果卸载然后执行

rpm -e –nodepsjava-1.7.0-openjdk-1.7.0.45-2.4.3.3.el6.x86_64

rpm -e –nodepsjava-1.6.0-openjdk-1.6.0.0-1.66.1.13.0.el6.x86_64

或者rpm -ejava-1.6.0-openjdk-1.6.0.0-1.66.1.13.0.el6.x86_64 -e命令是移除

2)上传或者下载jdk包到/usr/local目录

tar -xzvf/tools/jdk-8u141-linux-x64.tar.gz 解压

配置环境变量编辑/etc/profile文件

vi /etc/profile 追加

exportJAVA_HOME=/usr/local/jdk1.8.0_141

export CLASSPATH=.:$JAVA_HOME/jre/lib/rt.jar:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib

/tools.jar

export PATH=$PATH:$JAVA_HOME/bin

source . /etc/profile

source命令可以重新加载/etc/profile文件，使修改的内容在当前shell窗口中生效。

测试是否安装成功，如果出来信息则安装成功

Java -version

6. 安装Hadoop yarn环境

6.1 准备工作

从官网下载 hadoop2.6.0 版本。本次部署采用2.6.0版本。

mkdir tools

上传hadoop到这个目录

mkdir -p /opt/server

cd /opt/server

tar -zxvf /tools/hadoop-2.6.0.tar.gz

mv hadoop-2.6.0 hadoop 改名一下

6.2 配置修改hadoop相关配置文件。

cd到hadoop目录，进入到/hadoop/etc/hadoop 配置目录, 需要配置有以下7个文件：hadoop-env.sh，yarn-env.sh，slaves，core-site.xml，hdfs-site.xml，maprd-site.xml，yarn-site.xml

1) 在hadoop-env.sh中配置JAVA_HOME

# The java implementation to use.

exportJAVA_HOME=/usr/local/jdk

2) 在yarn-env.sh中配置JAVA_HOME

# The java implementation to use.

exportJAVA_HOME=/usr/local/jdk

3) 在slaves中配置slave节点的ip或者host

datanode01

datanode02

4) 修改core-site.xml

<configuration>

    <property>

        <name>fs.defaultFS</name>

        <value>hdfs://master:9000/</value>

    </property>

    <property>

         <name>hadoop.tmp.dir</name>

         <value>file:/opt/server/hadoop/tmp</value>

    </property>

</configuration>

5)    修改hdfs-site.xml

<configuration>

   <property>

       <name>dfs.namenode.secondary.http-address</name>

       <value>master:9001</value>

   </property>

   <property>

       <name>dfs.namenode.name.dir</name>

       <value>file: /opt/server/hadoop/dfs /name</value>

   </property>

   <property>

       <name>dfs.datanode.data.dir</name>

       <value>file:/opt/server/hadoop/dfs/data</value>

   </property>

   <property>

       <name>dfs.replication</name>

       <value>3</value>

   </property>

</configuration>

6) 修改mapred-site.xml

<configuration>

   <property>

       <name>mapreduce.framework.name</name>

       <value>yarn</value>

   </property>

</configuration>

7) 修改yarn-site.xml

<configuration>

   <property>

       <name>yarn.nodemanager.aux-services</name>

       <value>mapreduce_shuffle</value>

   </property>

   <property>

       <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>

       <value>org.apache.hadoop.mapred.ShuffleHandler</value>

   </property>

   <property>

       <name>yarn.resourcemanager.address</name>

       <value>master:8032</value>

   </property>

   <property>

       <name>yarn.resourcemanager.scheduler.address</name>

       <value>master:8030</value>

   </property>

   <property>

       <name>yarn.resourcemanager.resource-tracker.address</name>

       <value>master:8035</value>

   </property>

   <property>

       <name>yarn.resourcemanager.admin.address</name>

       <value>master:8033</value>

   </property>

   <property>

       <name>yarn.resourcemanager.webapp.address</name>

       <value>master:8088</value>

   </property>

</configuration>

8) 将配置好的hadoop分发给所有的datanode节点

scp -r /opt/server/hadoop root@datanode01:/opt/server/

scp -r /opt/server/hadoop root@datanode02:/opt/server/

以上配置完成后，就可以启动hadoop了

在master上执行以下操作。

启动Hadoop

cd /opt/server/hadoop #进入hadoop目录

bin/hadoop namenode -format #格式化namenode

sbin/start-dfs.sh #启动dfs

sbin/start-yarn.sh #启动yarn

验证Hadoop 是否安装成功

可以通过jps命令查看各个节点启动的进程是否正常。在 master上应该有以下几个进程：