hadoop全分布模式的详细操作

最新推荐文章于 2024-09-17 15:29:48 发布
最新推荐文章于 2024-09-17 15:29:48 发布
阅读量895 收藏 1
点赞数
文章标签： ubuntu hadoop hdfs

运行环境：

hadoop单机模式运行的基础上

ubuntu

1台master机器（作为namenode、jobtracker来使用），2台slave机器（作为HDFS的datanode、Map/Reduce的tasknode来使用）

集群的配置主要是三个方面：

1.etc/hosts 的配置

2.三台机中的五个hadoop conf中的文件配置相同：core-site.xml,hdfs-site.xml, mapred-site.xml, masters, slaves

3.保证三台机的ssh通信畅通。

详细操作：

1./etc/hosts文件中

设定192.168.1.3为master机，其fullydomain name是hadoop-master.test.com，simplename是hadoop-master。
设定192.168.1.4为slave机，其fullydomain name是hadoop-s1.test.com，simplename是hadoop-s1。
设定192.168.1.5为slave机，其fullydomain name是hadoop-s2.test.com，simplename是hadoop-s2。

hosts文件：
127.0.0.1      localhost.localdomain localhost
::1            localhost6.localdomain6 localhost6
192.168.1.3    hadoop-master.test.com hadoop-master
192.168.1.4    hadoop-s1.test.com      hadoop-s1
192.168.1.5    hadoop-s2.test.com      hadoop-s2
2.五个配置文件： 

<span style="font-size:14px;">core-site.xml
<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl"href="configuration.xsl"?>
<configuration>
       <property>
              <name>fs.default.name</name>
              <value>hdfs://hadoop-master:9000</value>
       </property>
</configuration>
hdfs-site.xml
<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl"href="configuration.xsl"?>
<configuration>
       <property>
              <name>dfs.data.dir</name>
              <value>/usr/hadoop-0.20.2/dfs.data</value>
       </property>
       <property>
              <name>dfs.name.dir</name>
              <value>/usr/hadoop-0.20.2/dfs.name</value>
       </property>
       <property>
              <name>dfs.replication</name>
              <value>2</value>
       </property>
</configuration>
mapred-site.xml
<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl"href="configuration.xsl"?>
<configuration>
       <property>
              <name>mapred.job.tracker</name>
              <value>hadoop-master:9001</value>
       </property>
</configuration>
masters
hadoop-master
slaves
hadoop-s1
hadoop-s2</span>
上面5个配置文件里面都要用机器名（IP地址应该也行，但不能有localhost、127.0.0.1之类），因为这是hadoop集群的配置。HDFS的主控机是hadoop-master(192.168.1.3)，端口9000，包括2个数据节点(192.168.1.4hadoop-s1, 192.168.1.5 hadoop-s2)。Map/Reduce的作业管理机hadoop-master（端口9001）。3个机器里面的这5个文件是相同的。
3.ssh配置：

3台机器之间，必须能用空口令互相ssh通，因为hadoop的master机是通过ssh控制slave机器的。

ssh在集群所有节点安装之后，要使用主节点的ssh-keygen来生成RSA密钥对。务必要避免输入口令，不然主节点每次访问其他节点，都得手动输入口令。

用ssh-keygen –t rsa命令建立空口另秘钥对（在目录/home/hadoop/.ssh下面），然后cpid_rsa.pub authorized_key把空口令公钥文件复制到authorized_keys文件中。
然后合并3台机器的authorized_keys文件，合并后该文件中应该有3行公钥了，类似下面
[hadoop@hadoop-master .ssh]$ cat authorized_keys 
ssh-rsaAAAAB3NzaC1yc2EAAAABIwAAAQEA1Yk16312rEoaNM7YUF9+XZp5Ug20lLzm/5jaaanCAMEkJTNZN3AtEE9kXyAJ25XeUNJtIqaJQ3Bw53EPvN1D02Xjt9k8LmAppHF4LZl5blXIPe8Ppeammq8z9LgK/1NDU4fbpwqLL8yvuMSLPL7JYKCDPfeWCE+LlNi9ryB/6SYBJNfzFagcutQ/yAHDkquGj9EvrrE70dvhMG48ltmCiRFmCf9UXBFyczGuYVJnl9GuvmzSU85JK+Xx4/EUphA7wjvlCwO74qMAS7x2BZYSDyJiUgMFrQ6Od+tHFwHuJu7gRSyB4oG/LcwOyiCHzCbAuzFQRNT6GoGplrkT0I9amw==hadoop@hadoop-master.test.com
ssh-rsaAAAAB3NzaC1yc2EAAAABIwAAAQEA0dw73huLc9VtHTU4fMLNquFN82lTadhBQXWxJ1o1r0Ek1ILEWgssYp33SjJ/FlfnpvCYpJGufSWXmJEmrpBgMFwc2DAXxJp0uzEvdBXgcpy/ljghUXcGbgLa7mBZ7AypxDYnvQSfER6/SF5I3FKuvDorqPfLRpdyG6N5klzolxmdfEJSv4ZczoAwGhV83CorMa4MoffFew0TdXDHqD6eihG7rhDVAstoM4SEuFW2rzHTKt3GEOWmViHXtNqNRAmHoNeX6q4a9NL8+OiqCaXAh3hZ6txNRpU1X1HotPFjpL8MQLs6dcOVmPWRnxGZr6grhE2WtnwdvsE3l4AmHYmqTw==hadoop@hadoop-s1.test.com
ssh-rsaAAAAB3NzaC1yc2EAAAABIwAAAQEAu1H6ySfXFNQYV2oKeUX/m5L3/3gYkTf0n+bddE0HFMsED7cV9wlCmDL71uX68kqbhVpR29L9/cwbsSeBL1lQSJENKLD4HgzfIOzPg93gx1OEnzAWLHrd/+uXchuj9kVnSY0qHmmbsQodbl3MTnEhayaHz8uWLJ6sPXk8yc+SFjKSqugpVmQXES1JhyoY1o9ZNNwaHgGOXwxNhFOdIOeHjCOzU0ug7NhjyORk8Oz9JALResq6YZOw2ZcvvtnieoikQP8AQ4SxymbWO4+c/x+tlhsdJow2qvl/uw2Y+iOgDIgOX7LsJBtZ1sI0BOBrj3DlK1cTPpK7KU1c0NTIqNwevQ==hadoop@hadoop-s2.test.com


然后把合并后的文件放到3台机器的/home/hadoop/.ssh目录下。
最后，验证一下3台机器的空口令ssh是否可以互通，比如在hadoop-master机器上sshhadoop-s1, ssh hadoop-s1等。

验证：
在hadoop-master(192.168.1.3)机器上格式化HDFS系统，命令hadoopnamenode -format。看见显示successful就说明格式化成功了。
然后启动hadoop集群，命令是start-all.sh（在/usr/hadoop-0.20.2/bin目录下）。可以看见显示了类似如下的日志
[hadoop@hadoop-master ~]$ start-all.sh
starting namenode, logging to/usr/hadoop-0.20.2/bin/../logs/hadoop-hadoop-namenode-hadoop-master.test.com.out
hadoop-s2: starting datanode, logging to/usr/hadoop-0.20.2/bin/../logs/hadoop-hadoop-datanode-hadoop-s2.test.com.out
hadoop-s1: starting datanode, logging to/usr/hadoop-0.20.2/bin/../logs/hadoop-hadoop-datanode-hadoop-s1.test.com.out
hadoop-master: starting secondarynamenode, loggingto /usr/hadoop-0.20.2/bin/../logs/hadoop-hadoop-secondarynamenode-hadoop-master.test.com.out
starting jobtracker, logging to/usr/hadoop-0.20.2/bin/../logs/hadoop-hadoop-jobtracker-hadoop-master.test.com.out
hadoop-s2: starting tasktracker, logging to/usr/hadoop-0.20.2/bin/../logs/hadoop-hadoop-tasktracker-hadoop-s2.test.com.out
hadoop-s1: starting tasktracker, logging to/usr/hadoop-0.20.2/bin/../logs/hadoop-hadoop-tasktracker-hadoop-s1.test.com.out
然后用/usr/java/jdk1.6.0_18/bin/jps命令看一下后台的java进程运行情况，如下
[hadoop@hadoop-master ~]$ jps
14558 NameNode
14788 JobTracker
14888 Jps
14715 SecondaryNameNode
说明在hadoop-master上已经启动了hadoop集群的namenode和jobtracker。再访问一下http://hadoop-master:50070看一下HDFS是否启动成功，如果看见有2个LiveNode而且日志中没有异常就说明HDFS成功了。
再访问一下http://hadoop-master:50030看一下map/reduce是否启动成功，如果看见Nodes是2个说明成功了。
在hadoop-master机器的/usr/hadoop-0.20.2目录下启动一个hadoop作业(job)来验证HDFS和Map/Reduce能协同工作。步骤如下：
$hadoop fs –mkdir /input #在HDFS系统的根目录下新建子目录input。
$hadoop fs –put conf/*.xml /input #将本地子目录conf下的xml文件复制到HDFS系统/input目录下。
$hadoop jar hadoop-0.20.2-examples.jar wordcount/input /output       #启动hadoop自带examples包中的wordcount作业，输入文件在HDFS的/input目录下，作业结果写到HDFS的/output目录中。作业过程可以在hadoop-master:50030端口监控。作业结束后，使用命令
$hadoop fs –ls /output看一下HDFS的/output目录的情况，里面应该有一个part*文件是结果。



tonylee1219
关注
Hadoop学习之以全分布模式部署及问题
skyWalker_ONLY
02-23 3839
之前学习Hadoop都是在VMWare虚拟机上的Linux系统上以伪分布模式部署的，最近领导对GreenPlum比较感兴趣，申请了7台物理机，也就有机会在7台物理组成的集群中以全分布模式部署Hadoop了。在部署Hadoop之前，领导已经将该7台物理机的ssh配置好了，若不熟悉ssh的配置可以参考文章http://blog.csdn.net/skywalker_only/article/detai
Hadoop全分布模式环境搭建[超详细]
12-03
自己总结的Hadoop全分布模式环境搭建。
Hadoop全分布模式操作
数据人
03-08 3626
摘要：介绍Hadoop全分布模式操作，实现真正意义上的集群架构。 关键词：Hadoop 全分布模式 文件配置
熟悉常用的Hadoop操作：Hadoop选做题
最新发布
weixin_64587092的博客
09-17 1359
您已经使用了带有-f选项的hadoop fs -get命令来强制从HDFS的/user/hadoop/test/目录下载.bashrc文件到本地的/usr/local/hadoop/test_download/目录，并覆盖了原有文件（如果存在）。在打开的config文件中，您可以根据需要添加配置。例如，如果Java安装在/usr/lib/jvm/java-8-openjdk-amd64，则修改为：1export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64。
Hadoop实战（2）_虚拟机搭建Hadoop的全分布模式
分享数据科学家的自我修养
10-23 789
建立Linux虚拟机(全节点)客户机操作系统：CentOS-6.5-x86_64。网络连接：host-only。Connecet automaticcally：打勾。 hostname Address Netmask Gateway hadoopmaster 192.168.169.100 255.255.255.0 hadoopslave1 192.168.
初学（14）——Hadoop-全分布模式
Zero-to-Hero的博客
09-20 282
准备工作 操作系统：Linux（以CentOS为例，一台master，三台slvae） JDK版本：jdk-1.8.1_212 Hadoop版本：hadoop-2.8.3 步骤（使用hadoop用户，各节点同时进行） 1.修改hadoop-env.sh配置文件 参考 hadoop-单机模式 2.设置Hadoop环境变量 sudo vim /etc/profile 添加如下配置 export HA...
【无标题】hadoop全分布式模式
qq_63227925的博客
03-01 1860
1.实训目的和内容 理解hadoop的全分布模式原理 熟练掌握部署Fully-Distributed Mode（全分布模式） 先决条件 支持平台：linux、window 所需软件：3台或5台虚拟机，安装jdk、ssh、hadoop 参考官网：Apache Hadoop 3.3.1 – Hadoop Cluster Setup IP 主机名 192.168.121.134 hadoop01 19.
Hadoop的全分布模式
Casablanca
12-25 4130
一、搭建Hadoop的全分布模式 1、三台机器：bigdata12 bigdata13 bigdata14 2、每台机器准备工作：安装JDK、关闭防火墙、设置主机名 systemctl stop firewalld.service systemctl disable firewalld.service 设置主机名 v
hadoop完全分布式模式（1）
weixin_62563383的博客
12-12 100
集群配置 注意：NameNode和SecondaryNameNode不要安装在同一台服务器 （2NN备份元数据的，如果放在一台机器上，机器宕机元数据就拿不到） 注意：ResourceManager也很消耗内存，不要和NameNode、SecondaryNameNode配置在同一台机器上。 核心配置文件配置： hadoop-env.sh（在/opt/module/hadoop-3.1.3/etc/hadoop目录下）Linux系统中获取JDK的安装路径： [soft863@ hadoop100 ~]#
Hadoop完全分布式模式
秋雨ヾ的博客
02-04 179
进入apache官网，查看hadoop的版本，下载tar包（这里使用的是2.7.2版本） 也可以进入国内开源镜像网站下载tar包 1.解压tar包 tar -zxvf hadoop-2.7.2.tar.gz 2.进入解压之后的hadoop文件 cd hadoop-2.7.2 3.查看文件安装路径 pwd #我的安装路径 /opt/hadoop-2.7.2 4.配置环境变量 打开 /etc/profile文件 vim /etc/profile 添加以下内容 #HADOOP_HOME export H
【Hadoop】二、完全分布式模式
leonia1996的博客
02-04 106
集群准备 三台服务器：master，slave01，slave02 jdk1.8及以上，在/etc/profile中设置JAVA_HOME环境变量 hadoop2.7，配置 HADOOP_HOME 环境变量 # /etc/profile # JAVA_HOME export JAVA_HOME=/opt/module/jdk1.8.0_144 export PATH=$PATH:$...
Hadoop的全分布模式安装
zhang_zero的博客
12-04 1906
规划 三台机器：bigdata1，bigdata2，bigdata3 bigdata1作为主节点，剩下2台机器作为从节点 #以下操作只在主节点进行 #在root家目录下创建2个文件夹tools和training #tools用来存储压缩文件包，training用于存放解压后的文件 mkdir /root/tools mkdir /root/training #将准备好的安装包上传到tools目录下 scp jdk-8u144-linux-x64.tar.gz root@bigdata1:/root/.
hadoop完全分布式
weixin_61959567的博客
12-06 1642
集群配置 注意：NameNode和SecondaryNameNode不要安装在同一台服务器 （2NN备份元数据的，如果放在一台机器上，机器宕机元数据就拿不到） 注意：ResourceManager也很消耗内存，不要和NameNode、SecondaryNameNode配置在同一台机器上。 hadoop100 hadoop101 hadoop102 HDFS ...
hadoop全分布模式搭建
NorthWest1的博客
03-04 218
第一次写博客，有点小激动，这个集群只有三个节点，在网上找了一堆参考资料，配置了前前后后四天才搞清。 1、文件准备 centos7 jdk1.8 hadoop3.1.3 这些文件官网上都有，自己寻找下载 下载Hadoop文件的时候，一定要注意，下载不带src的，src的是源代码包，和正常操作的不一样。。。。 2、创建3台虚拟机 如果选择典型，则只有一个终端界面，并且一直在root下，是管理员模...
hadoop基本操作
weixin_30617737的博客
04-08 91
hadoop的基本操作是对6个类的重写实现的 TextInputFormat，Mapper，Combiner，HashPartitioner，Reducer，TextOutFormat //基本的设置，对于同的问题，只需要重写6个类即可</span> public static void test2() throws Exception { Configuratio...
Hadoop 三大运行模式--＞本地运行模式
风口IT猪的成长录
09-04 751
Hadoop 运行模式-->本地运行模式Hadoop 运行模式本地运行模式 Hadoop 运行模式 1）Hadoop 官方网站：http://hadoop.apache.org/ 2）Hadoop 运行模式包括：本地模式、伪分布式模式以及完全分布式模式。 本地模式：单机运行，只是用来演示一下官方案例。生产环境不用。 伪分布式模式：也是单机运行，但是具备 Hadoop 集群的所有功能，一台服务器模拟一个分布式的环境。个别缺钱的公司用来测试，生产环境不用。 完全分布式模式：多台服务器组成分布式环境。生产
【hadoop】部署hadoop全分布模式
qq_43495411的博客
07-15 3142
2023/7/15
Hadoop完全分布模式安装
Melody_12的博客
03-07 353
搭建完全分布模式 克隆两个节点 修改静态IP 修改主机名 修改IP和主机名的映射 SSH无密登录 安装JDK 安装hadoop 配置环境变量 修改hadoop配置文件 a.core-site.xml b.hdfs-site.xml c.复制新建mapred-site.xml d.yarn-site.xml e.slaves f.hadoop-env.sh 把配...
Hadoop完整搭建过程（三）：完全分布模式（虚拟机）
氷泠
08-22 2017
文章目录1 完全分布模式2 虚拟机配置6.1 配置虚拟机环境6.1.1 虚拟机安装6.1.1.1 镜像下载6.1.1.2 安装6.1.2 启动6.1.3 （可选）关于`Virtual Box`的分辨率6.1.4 `JDK`6.2参考 1 完全分布模式 完全分布模式是比本地模式与伪分布模式更加复杂的模式，主要从两个方面去配置： 三台虚拟机 三台真实服务器 其中通用步骤为： 配置ip 配置ssh 安装OpenJDK+Hadoop 创建用户 修改Hadoop配置文件 测试 2 虚拟机配置 需要使用到三台虚
hadoop全分布模式安装
xiejx618的专栏
04-12 709
参考: http://hadoop.apache.org/docs/r1.2.1/cluster_setup.html Hadoop实战.pdf(page17-page30) 先看一个集群拓扑图: 本文主要实践Hadoop实战的2.3.3全分布模式.参考上图,使用四台服务器如下: master(192.168.1.118)--集群主节点,驻留NameNode和Jo
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值