大数据技术之HDFS集群搭建

最新推荐文章于 2024-03-22 17:35:07 发布
最新推荐文章于 2024-03-22 17:35:07 发布
阅读量525 收藏 2
点赞数 1
分类专栏： Hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/haodiaoji9386/article/details/82317452
版权

准备工作

1） 首先查看本机IP地址

      ipconfig

记住自己本机的IP地址 在配置虚拟机师IP地址时避免重复

2） 查看虚拟机的网关和子网IP

​ 打开VMware Workstation,依次点击编辑-->虚拟网络编辑器 出现以下界面，选中VMnet8 再点击NAT设置

标题

 

 

 

 

 

 

 

 

 

 

 

 

 

 

3）记住自己的这两个参数配置虚拟机IP时要用到

2.2 安装CentOS

​ [安装CentOS 6.8](https://jingyan.baidu.com/article/1e5468f978d376484961b7be.html)

​ VM，jdk（1.8）和CenOS6.8安装包

​ 链接：https://pan.baidu.com/s/1VL04Iibobo2n3RH8zbfycQ 密码：se33

 

2.3 虚拟机网络模式设置为NAT

1）选中自己创建的虚拟机右击-->设置

 

 

 

 

 

 

 

 

 

 

 

 

 

 

2.4 克隆虚拟机

​ 1）克隆虚拟机

​ 选中自己创建的虚拟机右键-->管理-->克隆

 

 

等待克隆完成

2.5 修改ip、主机名和映射

 

我选中的是hadoop03这台虚拟机但是主机名是Hadoop02 这是因为hadoop103是从hadoop102拷贝过来的所以拷贝的两天虚拟机主机名和IP都需要修改，hadoop102只需要修改IP，现在我用hadoop103为例修改主机名和设置静态IP地址。

​ 登陆进去后右击-->在终端中打开

在终端中输入 ：vim /etc/udev/rules.d/70-persistent-net.rules

修改前：

修改后： 将NAME修改为eth0 将ATTR(address) 的值复制出来等会用于配置静态IP 保存退出（：wq）

在终端中输入 ：vim /etc/sysconfig/network-scripts/ifcfg-eth0

1：将之前ATTR(address) 的值粘贴上去

2：将BOOTPROTO的值修改为static

3：添加之前查看的子网IP（192.168.1.0）下的IP（192.168.1.102 Ps:这是自己分配的 不要跟window系统IP一致）

4：填写之前查看的网购IP

5：填写之前查看的网关IP

修改完成后保存并退出

在终端中输入 让修改的配置生效 ：service network restart

如果失败重启虚拟机（可以修改完主机名后在重启）

在终端中输入 ：reboot

修改主机名： vim /etc/sysconfig/network

测试是否能上网： ping www.baidu.com(记得重启虚拟机)

配置主机名和IP的映射关系（根据自己需要多少配置 几个虚拟机中都需要配置）

在终端中输入：vi /etc/hosts（主机名和IP一定要对应好 ）

2.6 关闭防火墙

​ 查看防火墙开机启动状态

chkconfig iptables --list 

关闭防火墙

chkconfig iptables off

（注意：每克隆一台虚拟机都要做2.5-2.6步骤）

2.7 安装jdk

进入/opt目录 ：cd /opt

创建两个文件夹

mkdir module

mkdir software

用Xftp工具将jdk、Hadoop-2.7.2.tar.gz导入到opt目录下面的software文件夹下面

 

 

在linux系统下的opt目录中查看软件包是否导入成功

cd /opt/software/ 

ll

解压jdk到/opt/module目录下 :tar -zxvf jdk-8u151-linux-x64.tar.gz -C /opt/module/

开始配置jdk环境变量

cd /opt/module/jdk1.8.0_151/

pwd

记住jdk路径：/opt/module/jdk1.8.0_151 (最后粘贴在一个文档中)

打开/etc/profile文件配置jdk： cd /etc/profile 

按一下A键进入编辑状态

在文件最后加上 ：

#JAVA-HOME
export JAVA_HOME=/opt/module/jdk1.8.0_151
export PATH=$PATH:$JAVA_HOME/bin

保存并退出

让修改后的文件生效：source  /etc/profile

测试jdk是否安装成功 ：java -version

如果java –version可以用就不用重启） 在终端输入

 sync

 reboot

2.8 安装Hadoop

进入到Hadoop安装包路径下 ： cd /opt/software/

解压安装文件到/opt/module下面 ：tar -zxf hadoop-2.7.2.tar.gz -C /opt/module/

查看是否解压成功

 

输入以下命令进入hadoop配置文件中配置hadoop中的hadoop-env.sh

cd /opt/module/hadoop-2.7.2/etc/hadoop

vim hadoop-env.sh

填上jdk的安装路径

保存并退出

将hadoop添加到环境变量

获取hadoop安装路径

cd /opt/module/hadoop-2.7.2/

pwd

记住这个路径：/opt/module/hadoop-2.7.2

打开/etc/profile文件：vi /etc/profile

在文件最后加上 :

#HADOOP_HOME
export HADOOP_HOME=/opt/module/hadoop-2.7.2
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbin

保存并退出

让修改后的文件生效：source /etc/profile

测试hadoop环境是否配置成功 :hadoop

 如果hadoop命令不能用再重启

sync

reboot

Hadoop运行模式

3.1 SSH无密码登录

进入到我的root目录（如何是普通用户请进入/home 目录下自己的目录）

生成公钥和私钥：ssh-keygen -t rsa 

然后敲（三个回车），就会生成两个文件id_rsa（私钥）、id_rsa.pub（公钥）

将公钥拷贝到要免密登录的目标机器上

 

ssh-copy-id 192.168.1.102

ssh-copy-id 192.168.1.103

ssh-copy-id 192.168.1.104

3.2 编写集群分发脚本xsync

在/usr/local/bin这个目录下存放的脚本，可以在系统任何地方直接执行。

cd /usr/local/bin

touch xsync

vi xsync

脚本内容如下：

#!/bin/bash
#1 获取输入参数个数，如果没有参数，直接退出
pcount=$#
if((pcount==0)); then
echo no args;
exit;
fi

#2 获取文件名称
p1=$1
fname=`basename $p1`
echo fname=$fname

#3 获取上级目录到绝对路径
pdir=`cd -P $(dirname $p1); pwd`
echo pdir=$pdir

#4 获取当前用户名称
user=`whoami`

#5 循环
for((host=101; host<105; host++)); do
        #echo $pdir/$fname $user@hadoop$host:$pdir
        echo --------------- hadoop$host ----------------
        rsync -rvl $pdir/$fname $user@hadoop$host:$pdir
done

保存并退出

修改脚本 xsync 具有执行权限 (r-4,w-2,x-1)

chmod 777 xsync

 

3.3编写分发脚本xcall

在/usr/local/bin目录下创建xcall文件 ，文件内容如下 ：

#!/bin/bash
pcount=$#
if((pcount==0));then
        echo no args;
        exit;
fi

echo -------------localhost----------
$@
for((host=101; host<=108; host++)); do
        echo ---------hadoop$host---------
        ssh Hadoop$host $@
done

修改脚本 xcall 具有执行权限

chmod 777 xcall

3.4配置集群

( 最后一个是hadoop104) 

 hadoop102 hadoop103   
HDFSNameNode DataNodeDataNodeSecondaryNameNode DataNode
YARNResourceManager NodeManagerNodeManagerNodeManager

 

修改配置文件

这些配置文件所在目录：/opt/module/hadoop-2.7.2/etc/hadoop

​ （1）core-site.xml（文件名）

    添加以下内容：

   <!-- 指定HDFS中NameNode的地址 -->
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://hadoop102:8020</value>
    </property>
    <!-- 指定hadoop运行时产生文件的存储目录 -->
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/opt/module/hadoop-2.7.2/data/tmp</value>
    </property>

（2）Hdfs

​ hadoop-env.sh（文件名）

添加以下内容：

         export JAVA_HOME=/opt/module/jdk1.7.0_79

hdfs-site.xml （文件名）

添加以下内容：

   <configuration>    
    <property>
        <name>dfs.replication</name>
        <value>3</value>
    </property>
    <property>
        <name>dfs.namenode.secondary.http-address</name>
        <value>hadoop104:50090</value>
    </property>
</configuration>

slaves （文件名）

添加以下内容：

hadoop102
hadoop103
hadoop104

（3）配置yarn

​ yarn-env.sh

export JAVA_HOME=/opt/module/jdk1.8.0_151

yarn-site.xml

<configuration>
<!-- Site specific YARN configuration properties -->
<!-- reducer获取数据的方式 -->
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>

<!-- 指定YARN的ResourceManager的地址 -->
    <property>
        <name>yarn.resourcemanager.hostname</name>
        <value>hadoop102</value>
    </property>
    </configuration>

（4）配置mapreduce

mapred-env.sh

export JAVA_HOME=/opt/module/jdk1.8.0_151

mapred-site.xml

<configuration>
<!-- 指定mr运行在yarn上 -->
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
    </configuration>

在集群上分发以上所有文件

cd /opt/module/hadoop-2.7.2/etc/hadoop

xsync /opt/module/hadoop-2.7.2/etc/hadoop/core-site.xml

xsync /opt/module/hadoop-2.7.2/etc/hadoop/yarn-site.xml

xsync /opt/module/hadoop-2.7.2/etc/hadoop/slaves

3.5集群启动及测试

如果集群是第一次启动，需要格式化namenode（在/opt/module/hadoop-2.7.2下输入）

bin/hdfs namenode -format

启动HDFS： start-dfs.sh

启动yarn :start-yarn.sh

集群搭建成功

wordcount例子运行

在集群上创建一个文件夹：

hadoop fs -mkdir -p /user/test/input

创建一个输入文件 :vi input.txt

上传文件致集群：

hadoop fs -put input.txt /user/test/input

运行例子

hadoop jar /opt/module/hadoop-2.7.2/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.2.jar wordcount /user/test/input /user/test/out

下载结果： hadoop fs -get /user/test/out/part-r-00000

（由于本人也不是一次就搭建成功在这个过程中也多次出现错误，如果此文中存在错误欢迎留言指正，以及你在照此外搭建过程中出现错误也可以留言讨论） 

那绊脚石的不
关注
  • 1
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
HDFS集群搭建
qq_37436172的博客
05-05 932
在已经启动单机版hdfs的基础上进行 1.准备三台虚拟机（以完成网络配置，主机名配置，主机域名映射,防火墙关闭并关闭重启，ssh免密，安装JDK等等） 2.在node01上安装Hadoop，配置环境变量（修改和配置一些文件，修改时一定小心错一个字母就会失败。） 3.同步配置信息（把在node01上修改的配置文件同步到node02和node03上） 4.在node01上格式化，并启动集群。 5.用jps查看启动情况，并测试上传下载是否能成功。在web端查看
HDFS HA 高可用集群搭建详细图文教程
Stars.Sky 的博客
09-04 2500
HDFS HA 高可用搭建详细图文教程
失眠大数据专家，手把手带你玩转大数据，HDFS三种搭建方式
2401_83384536的博客
03-19 930
② 在node01节点执行，将node01的公钥加入到其他节点的白名单中 ssh-copy-id -i ~/.ssh/id_rsa.pub root@node01。① 在node02节点执行，将node01的公钥加入到其他节点的白名单中 ssh-copy-id -i ~/.ssh/id_rsa.pub root@node01。① 所有节点执行 ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa。① 创建目录 hdfs dfs -mkdir -p /user/root。
HDFS集群环境配置
ichterry的专栏
03-22 1005
HDFS集群配置步骤
Hadoop集群搭建
qq_41537880的博客
03-09 1730
hadoop自学搭建，实战记录
大数据技术之Hadoop：HDFS集群安装篇（三）
路漫漫其修远兮，吾将上下而求索
08-03 2181
此为个人学习笔记，包含个人归纳总结以及结合了对网络资源的整理，初衷是为了自己复习巩固。如果能帮到各位是我的荣幸！该总结参考了黑马教程，感兴趣的也可以去观看相关视频。
大数据集群搭建.pdf
12-24
⼤数据集群搭建 ⼤数据集群搭建 1、virtualbox 1、关闭虚拟机选择第⼀个休眠，会记录各种进程的状态。如果直接关掉虚拟机会关闭各种进程，导致环境崩溃。 2、Centos7 1、修改⽹络 ⽹卡桥接，配置主机和虚拟机相互...
大数据组件-Flume高可用集群搭建
最新发布
03-28
Flume是一个分布式、可靠和高可用性的数据采集工具，用于将大量数据从各种源采集到Hadoop生态系统中进行处理。在大型互联网企业的数据处理...storage是存储系统，可以是一个普通file，也可以是HDFS，HIVE，HBase等。
大数据技术之HadoopHA视频教程
07-08
视频详细讲解，需要的小伙伴...你将通过本课程学习到，Hadoop存在的单点故障问题，解决单点故障的方案，搭建手动故障转移的HDFS-HA集群，搭建基于Zookeeper的自动故障转移的HDFS-HA集群以及自动故障转移的Yarn-HA集群。
大数据平台构建：HDFS的重要概念.pptx
06-21
HDFS是由Doug Cutting基于Google公司2003年10月开源的论文GFS做的开源实现，发展到目前为止，HDFS的运用非常广泛，基本上很多大数据平台大部分都会选用HDFS（或者类似HDFS）这样的分布式文件系统、来作为海量数据...
初学大数据，手动搭建Hadoop集群环境完整学习文档
11-09
初学大数据，如何手动搭建一套集群是很有必要的一件事，因为使用CDH等一键搭建后，不知内部的原理，无法真正的理解其大数据集群的搭建原理，此文档刚好给大家把手动搭建集群的步骤列举出来了
HDFS的集群扩展和故障切换策略
互联网知识分享
07-23 164
HDFS_URI：HDFS的地址，包括主机名和端口号。conf：Hadoop配置对象，用于配置HDFS的参数。cluster：MiniDFSCluster对象，用于启动和关闭HDFS集群。filePath：测试文件的路径。isActive：判断NameNode是否处于Active状态。HDFS的集群扩展和故障切换策略是提高HDFS性能和可用性的重要手段。通过集群扩展可以增加存储容量和处理能力，通过故障切换策略可以实现高可用性和容错能力。以上给出了基于Java代码的示例，展示了如何实现。
Hadoop大数据集群搭建（超详细）
热门推荐
小飞飞V5的博客
05-21 3万+
本文主要介绍了Hadoop集群的搭建过程，图文详细，适合新手入门
HADOOP之HDFS集群配置
qq_53905637的博客
09-13 1544
HDFS配置小白上手篇
HDFS完全分布式集群搭建与配置及常见问题总结
qq_63040382的博客
09-16 1329
其次，用MapReduce处理大量小文件时，会产生过多的Map任务，进行管理开销会大大增加，因此处理大量小文件的速度远远低于处理同等规模的大文件的速度。NameNode节点可以将旧的fsimage文件及旧的日志文件，换为新的fsimage文件和新的日志文件(第一步生成的)，然后更新fstime文件，写入此次checkpoint的时间。数据节点是分布式文件系统HDFS的工作节点，负责数据的存储和读取，会根据客户端或者是名称节点的调度来进行数据的存储和检索，并且向名称节点定期发送自己所存储的块的列表。
Hadoop学习之hdfs集群搭建详解
weixin_46490924的博客
01-03 2480
hadoop高手之路 hadoop学习之集群搭建 yarn搭建+hdfs集群搭建详解
HDFS高可用配置及其高可用集群搭建
wxk的博客
11-04 2684
HDFS的HA（高可用）的背景、造成故障的原因以及解决方案，同时介绍了HA的解决方案-QJM 并详细记录了HA集群搭建的过程
hdfs伪分布式集群搭建和部署详解
小苦321的博客
01-22 3816
    hadoop大致可分为三个部分：     1、分布式存储，HDFS（Hadoop Distributed File System）；     2、分布式计算，MapReduce；     3、资源管理系统，Yarn。     下面直接进入正题：伪分布式集群的搭建。     环境：         ① Vmvare workStation、         ② Linux（CentOS，Ub...
访问HDFS遇到无法访问8020端口的问题，访问被拒绝
zc1024792301的博客
06-23 1万+
今天运行了一个简单的从Hadoop URL读取数据的程序 hadoop jar test.jar test.URLcat hdfs://localhost/data/123.txt 结果显示这个错误 Exception in thread "main" java.net.ConnectException: Call From hadoop/192.168.1.190 to hadoo...
尚硅谷大数据技术之cdh vmware
07-05
总之，尚硅谷大数据技术之CDH VMWare是一个方便快速的大数据解决方案，可以帮助用户快速搭建和配置CDH集群环境，学习和实践大数据技术，以及开发和测试大数据应用程序。 ### 回答3： 尚硅谷是一个IT培训机构，他们...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值