Hadoop完全分布式

最新推荐文章于 2024-04-15 05:28:43 发布
最新推荐文章于 2024-04-15 05:28:43 发布
阅读量868 收藏 17
点赞数 5
分类专栏： 大数据 文章标签： hadoop完全分布式 hadoop集群搭建 hadoop的安装使用 hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_42529806/article/details/86137119
版权

文章目录

Hadoop完全分布式搭建

Hadoop原理介绍

查看我的另一篇文章：https://blog.csdn.net/weixin_42529806/article/details/84026873

搭建背景说明

  1. 用于学习大数据使用
  2. 只需要一台电脑上（内存至少8G的PC）就可以搭建hadoop的完全分布式（VMware虚拟机*3）
  3. 为什么使用原生hadoop搭建呢
  • 说明1：企业中一般用第三方厂家的hadoop版本（比如：Cloudera的CDH、Hortonworks的HDP等），用起来特别方便
  • 说明2：自己学习，可以用原生hadoop，自己看着文档，手把手的搭建，熟悉各种配置等，有助于对hadoop的深入了解
  1. 需要准备3台虚拟机（用VMware软件创建），Xshell软件，文件传输的神器WinSCP，hadoop、jdk的linux安装包等等（文章下面全都有给地址，直接可以下这些干货）

VMware虚拟机的安装使用

  1. VMware软件地址：https://pan.baidu.com/s/1cYV_QQnecw88ldxS7nNWLQ （有用记得点赞哦）
  2. VMware软件使用方法以及虚拟机安装Ubuntu系统： https://www.cnblogs.com/la-fe/p/7835252.html
  3. 使用Xshell来操作虚拟机：https://ken.io/note/xshell-setup-ssh
    （xshell可以一条命令同时操作多个shell，后面搭建集群过程非常有效）
  4. windows主机和linux虚拟机进行文件传输的神器WinSCP（后面会用到）：https://pan.baidu.com/s/1epwMmchcB4hn7GTlw94pIw
  5. 使用VMware软件配置3台机子，linux系统使用Udbuntu16.04.5

虚拟机准备

  1. 3台虚拟机
主机名ip
master192.168.50.129
slave1192.168.50.130
slave2192.168.50.131
  1. 配置所有机器的hostname和hosts
1. vim /etc/hostname
#（三台主机名分别改master slave1 slave3）

2. vim /etc/hosts
192.168.50.129 master
192.168.50.130 slave1
192.168.50.131 slave2
#注意：把原来的127.0.0.1 localhost删除了，不然后面可能会出问题
3. 重启生效
  1. 配置ssh免密登陆
1. sudo apt-get install openssh-server #安装ssh
2. ssh-keygen -t rsa -P ''    然后按回车
    #说明：以rsa算法，生成公钥和私钥，-P '',表示是空密码；该命令执行完后，会在个人主目录下生产.ssh目录，里面会有两个文件，id_rsa(私钥)和id_rsa.pub(公钥)；该目录为隐藏目录，可用以下命令查看：ls -lah
3. cd .ssh/
4. ls
5. cat id_rsa.pub >> authorized_keys #进入.ssh目录下把公钥追加到 authorized_keys文件中
ssh root@192.168.50.130 cat ~/.ssh/id_rsa.pub>> authorized_keys    
ssh root@192.168.50.131 cat ~/.ssh/id_rsa.pub>> authorized_keys 
#把slave1、slave2公钥合并到authorized_keys 中
6. scp authorized_keys 192.168.50.130:/root/.ssh/  
   scp authorized_keys 192.168.50.131:/root/.ssh/
   #authorized_keys远程copy到slave1和slave2之中
7. chmod 600 authorized_keys #修改文件权限（读写权限）
8.service sshd restart  #重启操作， 重新启动ssh服务
9. 本机测试，ssh localhost，如果不需要密码可以登录，说明连接成功。
10. 测试能否ssh免密登录

组件准备

  1. hadoop生态圈组件
  1. 安装包上传到linux虚拟机（使用WinSCP，上面提到的）
  2. 安装包上传到/home下的software
1. mkdir /home/software
2. 上传则使用WinSCP软件哈

开始搭建hadoop分布式集群

安装jdk和hadoop

  1. 解压
cd /home/software
mkdir /opt/java_env
mkdir /opt/hadoop
tar -zxvf jdk1.8.....
tar -zxvf hadoop2.7.3
mv jdk1.8..... /opt/java_env/jdk1.8
mv hadoop2.7.3 /opt/hadoop/hadoop2.7.3
  1. 配置jdk和hadoop环境变量
1. 编辑 vim /etc/profile  之后按i键
2. 在最后面加上，上面的别动哈
export JAVA_HOME=/opt/java_env/jdk1.8
export CLASSPATH=.:$JAVA_HOME/jre/lib/rt.jar:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
export PATH=$PATH:$JAVA_HOME/bin
export HADOOP_HOME=/opt/hadoop/hadoop-2.7.3
export PATH=$PATH:$HADOOP_HOME/sbin
export PATH=$PATH:$HADOOP_HOME/bin
3. 按ESC
4. :wq---保存退出
5. source /etc/profile   使环境变量生效
6. java -version，查看jdk环境变量是否配置成功
（如果显示错误，则可能是jdk的版本和linux系统版本不对应  64位（32位）jdk---64位（32位）linux）

7. 配置hadoop-env.sh、yarn-env.sh，在Hadoop安装目录下
vim etc/hadoop/hadoop-env.sh
vim etc/hadoop/yarn-env.sh  
进去加入export JAVA_HOME=/opt/java_env/jdk1.8（jdk安装路径）
  1. 配置基本的xml（配置文件在hadoop2.7.3下的/etc/hadoop/目录下的）
  • core-site.xml
vim core-site.xml

<configuration>
        <property>
　　　　        <name>fs.defaultFS</name> <!--NameNode 的URI-->
　　　　　　　　<value>hdfs://mater:9000</value>
　　　　</property> 
　　　　<property> 
　　　　        <name>hadoop.tmp.dir</name> <!--hadoop临时文件的存放目录-->
　　　　　　　　<value>/opt/hadoop/hadoop-2.7.3/temp</value>
　　　　</property> 
</configuration>
  • hdfs-site.xml
vim hdfs-site.xml

<configuration>
        <property> <!--namenode持久存储名字空间及事务日志的本地文件系统路径-->
　              <name>dfs.namenode.name.dir</name>
　　　　        <value>/opt/hadoop/hadoop-2.7.3/dfs/name</value>
　　　　　　　　　　<!--目录无需预先创建，会自动创建-->
　　    </property>

　　    <property>  <!--DataNode存放块数据的本地文件系统路径-->
　　　　        <name>dfs.datanode.data.dir</name>
　　　　        <value>/opt/hadoop/hadoop-2.7.3/dfs/data</value>
　　    </property>

　　    <property>  <!--数据需要备份的数量，不能大于集群的机器数量，默认为3-->
　　　　        <name>dfs.replication</name>
　　　　        <value>2</value>
　　    </property>

　　    <property>
　　　　        <name>dfs.namenode.secondary.http-address</name>
　　　　        <value>master:9001</value>
　　    </property>
　　    <property>  <!--设置为true，可以在浏览器中IP+port查看-->
　　　　        <name>dfs.webhdfs.enabled</name>
　　　　        <value>true</value>
        </property>
</configuration>
  • mapred-site.xml
先 cp mapred-site.xml.template mapred-site.xml
vim mapred-site.xml

 <configuration>
　　　　<property> <!--mapreduce运用了yarn框架，设置name为yarn--> 
　　　　　　<name>mapreduce.framework.name</name>
　　　　　　<value>yarn</value>
　　　　</property> 
　　　　<property> <!--历史服务器,查看Mapreduce作业记录--> 
　　　　　　<name>mapreduce.jobhistory.address</name> 
　　　　　　<value>master:10020</value> 
　　　　</property> 
　　　　<property> 
　　　　　　<name>mapreduce.jobhistory.webapp.address</name> 
　　　　　　<value>master:19888</value> 
　　　　</property> 
</configuration>
  • yarn-site.xml
vim yarn-site.xml

<configuration>
        <property> <!--NodeManager上运行的附属服务，用于运行mapreduce-->
　　　　　　<name>yarn.nodemanager.aux-services</name>
　　　　　　<value>mapreduce_shuffle</value>
　　　　</property>
　　　　<property>
　　　　　　<name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
　　　　　　<value>org.apache.hadoop.mapred.ShuffleHandler</value>
　　　　</property>
　　　　<property> <!--ResourceManager 对客户端暴露的地址-->
　　　　　　<name>yarn.resourcemanager.address</name>
　　　　　　<value>master:8032</value>
　　　　</property>
　　　　<property> <!--ResourceManager 对ApplicationMaster暴露的地址-->
　　　　　　<name>yarn.resourcemanager.scheduler.address</name>
　　　　　　<value>master:8030</value>
　　　　</property>
　　　　<property> <!--ResourceManager 对NodeManager暴露的地址-->
　　　　　　<name>yarn.resourcemanager.resource-tracker.address</name>
　　　　　　<value>master:8031</value>
　　　　</property>
　　　　<property> <!--ResourceManager 对管理员暴露的地址-->
　　　　　　<name>yarn.resourcemanager.admin.address</name>
　　　　　　<value>master:8033</value>
　　　　</property>
　　　　<property> <!--ResourceManager 对外web暴露的地址，可在浏览器查看-->
　　　　　　<name>yarn.resourcemanager.webapp.address</name>
　　　　　　<value>master:8088</value>
　　　　</property>
</configuration>
  1. 配置slaves文件
vim slaves
1. 去除默认的localhost，
2. 加入
slave1
slave2
3. :wq保存退出
  1. 通过远程复制命令scp，将配置好的Hadoop复制到各个节点对应位置
　　scp -r /opt/hadoop/hadoop-2.7.3 192.168.50.130:/opt/hadoop-2.7.3 
　　scp -r /opt/hadoop/hadoop-2.7.3 192.168.50.131:/opt/hadoop-2.7.3
  1. Hadoop的启动与停止
  • 在Master服务器启动hadoop，从节点会自动启动，进入Hadoop目录下，
cd /opt/hadoop/hadoop2.7.3
bin/hdfs namenode -format   #进行hdfs格式化
sbin/start-all.sh   #进行启动
sbin/start-dfs.sh、sbin/start-yarn.sh   #也可以分开启动

master上输入jps：看到ResourceManager、NameNode、SecondaryNameNode进程
slave 上输入命令：jps， 看到DataNode、NodeManager进程
  1. windows配置
接下来配置本地hosts，编辑
C:\Windows\System32\drivers\etc的hosts文件，加入
192.168.172.71   master
192.168.172.72   slave1
192.168.172.73   slave2

在浏览器中输入http://master:50070查看master状态
  1. 停止hadoop，进入Hadoop目录下，输入命令：sbin/stop-all.sh，即可停止master和slave的Hadoop进程

常见问题

  1. hadoop上传文件报错（比如说：RemoteException）
    查错步骤

  • jps查看进程都启了没

  • hadoop dfsadmin -report 查看磁盘使用情况 都是空的就是错的

  • 另外，原因可能是使用hadoop namenode -format格式化时格式化了多次造成那么spaceID不一致

    解决办法

  • stop-all.sh #停止集群

  • rm -rf /hadoop/… #删除在hdfs中配置的data目录（即在core-site.xml中配置的hadoop.tmp.dir以及hdfs-site.xml中对应的文件，包括logs）下面的所有数据

  • hadoop namenode -format #重新格式化

  • start-all.sh #重启集群

  • 再次hadoop dfsamin -report查看磁盘使用情况，如下图就正常了
    在这里插入图片描述

子毅168
关注
  • 5
    点赞
  • 踩
  • 17
    收藏
    觉得还不错? 一键收藏
  • 3
    评论
专栏目录
hadoop-完全分布式搭建
大帅的博客
02-26 3120
此处一共设置三台服务器用于hadoop完全分布式搭建 设置为： 192.168.31.112 hadoop01 192.168.31.227 hadoop02 192.168.31.180 hadoop03 以192.168.31.112作为namenode为例 同伪分布式搭建步骤基本类似，多出一个时间同步 A.工作环境准备（三台主机都修改）： 工具： JDK：从oracle官网下载 Hadoop:Apache Hadoop官网下载 1.配置IP地址 一般情况下在安装虚拟机的时候会打开网络自动分配IP
Hadoop 三大运行模式--＞本地运行模式
风口IT猪的成长录
09-04 732
Hadoop 运行模式-->本地运行模式Hadoop 运行模式本地运行模式 Hadoop 运行模式 1）Hadoop 官方网站：http://hadoop.apache.org/ 2）Hadoop 运行模式包括：本地模式、伪分布式模式以及完全分布式模式。 本地模式：单机运行，只是用来演示一下官方案例。生产环境不用。 伪分布式模式：也是单机运行，但是具备 Hadoop 集群的所有功能，一台服务器模拟一个分布式的环境。个别缺钱的公司用来测试，生产环境不用。 完全分布式模式：多台服务器组成分布式环境。生产
Hadoop完全分布式搭建（超详细，傻瓜式安装）_hadoop完全分布式集群搭建
最新发布
2401_84164672的博客
04-15 516
7.在bigdata1将Hadoop解压到/opt/module。9.配置文件在hadoop-3.1.3/etc/hadoop里面。输入代码后根据提示输入yes或者密码。8.添加Hadoop的环境变量。
Hadoop 完全分布式搭建（超详细）
热门推荐
JIE的博客 --- moon_coder
10-24 3万+
到此为止，我们的 Hadoop 完全分布式就已经搭建完成啦！
Hadoop完全分布式部署(超全)
qq_27960935的博客
10-21 3395
Hadoop完全分布式部署 1、配置vm共享文件夹 注意：主要是实现window与虚拟机之间的文件共享，如果用实体机的，就不需要这步 1.1 linux系统创建共享目录 mkdir -p /work/software/share 1.2 vm配置共享文件夹 2、配置vm网络 vm安装步骤看这 三台服务器ip为： hdp01 192.168.10.133 hdp02 192.168.10.134 hdp03 192.168.10.135 3、配置虚拟机 注意：以下内容三台服务器同样配置（以第一台服务
hadoop完全分布式搭建（最通俗易懂）
T_Terryy的博客
01-04 1万+
关于hadoop完全分布式的搭建，一学就懂
Hadoop完全分布
zjy15737869372的博客
12-13 1812
一、核心文件配置 1、从Linux中获取jdk路径 echo $JAVA_HOME 配置hadoop-env.sh cd /opt/module/hadoop-3.1.3/etc/hadoop/ vi hadoop-env.sh 将配置文件修改如下保存并退出 配置core-site.xml vi core-site.xml 将下列命令粘贴进去 <?xml version="1.0" encoding="UTF-8"?> <?xml-styl...
hadoop完全分布式部署
09-25
hadoop完全分布式安装整合hive，亲自在实际服务器安装测试成功
Hadoop完全分布式集群总结
01-07
文章目录Hadoop完全分布式集群搭建一、新建虚拟机二、规划集群与服务1、逻辑结构2、物理结构3、总结构三、配置集群1、主节点基础网络配置1.1、配置固定ip地址1.2、修改主机名1.3、配置dns1.4、配置 ip 地址和主机名...
hadoop 完全分布式搭建
08-07
Hadoop 完全分布式搭建 Hadoop 是一个基于 Java 的开源框架，主要用于处理大数据。Hadoop 完全分布式搭建是指在多台服务器上部署 Hadoop，形成一个分布式集群，以便更好地处理大数据。 知识点1：Hadoop 集群架构 ...
hadoop完全分布式环境搭建.docx
02-17
hadoop、分布式环境、完全分布式、大数据、搭建
Hadoop安装（二）---完全分布式模式（集群模式）
weixin_45944880的博客
11-17 1456
Hadoop安装（二）---完全分布式模式
【大数据】Hadoop完全分布式配置（超详细）
X10的博客
01-03 4927
Hadoop完全分布式配置-具体步骤如下默认前提：1.在Windows平台下安装Vmware平台（默认已经安装）2.在Vmware平台上安装Linux操作系统（默认已经安装）这里我已安装的是 Vmware16 和 CentOS7.整理流程我参考的是centos6的文档，centos7的命令与其不同。如修改主机名、关闭防火墙等centos7无法连接Xshell的情况。
【Hadoop】完全分布式集群搭建
你不来，再美的天地，都狼藉 ~
03-23 6934
一学就会，Hadoop完全分布式（集群）搭建
Hadoop完全分布式部署
需要远程指导仿真实验、代码有问题的，请后台私信或者关注公众号
06-25 2904
要想深入的学习hadoop数据分析技术，首要的任务是必须要将hadoop集群环境搭建起来，可以将hadoop简化地想象成一个小软件，通过在各个物理节点上安装这个小软件，然后将其运行起来，就是一个hadoop分布式集群了。(1）学会hadoop完全分布式配置 (2）理解完全分布式配置的配置文件本次环境是：Ubuntu16.04 + jdk1.8.0_73+hadoop-2.7.3Hadoop 集群的安装配置大致为如下流程:   选定一台机器作为 master，在 master 节点上安装 Hadoop，配置网
Hadoop完全分布式环境搭建
xiaoxsen的博客
05-26 2万+
最近在学习hadoop，经过几番折腾终于把分布式环境搭建成功，这里总结一下搭建过程和过程中遇到的问题与解决方案。 一、准备工作 1.下载vmvare软件，配置NAT网络模式 NAT是网络地址转换，是在宿主机和虚拟机之间增加一个地址转换服务，负责外部和虚拟机之间的通讯转接和IP转换。 2.安装centos虚拟机 安装步骤这里不细讲，可以参考https://blog.csdn.......
hadoop完全分布式
05-03
Hadoop完全分布式指的是将Hadoop集群中的所有节点都配置为可以扮演Master节点和Slave节点的角色，这样每个节点都能够处理数据的存储和计算任务。在完全分布式的Hadoop集群中，Master节点主要负责集群管理和任务调度...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值