centos 6.5搭建hadoop2.2.0

最新推荐文章于 2024-09-04 21:05:24 发布
最新推荐文章于 2024-09-04 21:05:24 发布
阅读量1.3k 收藏
点赞数
分类专栏： HADOOP 文章标签： centos hive hadoop mapreduce namenode
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/oLeiShen/article/details/19620185
版权

由于测试学习用，所以安装三个虚拟机：

s1=192.198.56.101
s1=192.198.56.102
s1=192.198.56.103

修改hosts文件：
#vim /etc/hosts //加入最下面 

192.168.56.101  hadoop1
192.168.56.102  hadoop2
192.168.56.103  hadoop3

1，（101，102，103）上安装jdk： 
下载地址：http://download.chinaunix.net/down.php?id=33931&ResourceID=61&site=1
#cd /usr/local/
#wget -c http://download.chinaunix.net/down.php?id=33931&ResourceID=61&site=1
#chmod +x ./jdk-6u26-dlj-linux-i586.bin
#./jdk-6u26-dlj-linux-i586.bin

看到lucese协议，撸到底输入yes，或者直接q，然后输入yes，等待完成


2，（101，102，103）增加环境变量：

#vim + /etc/profile	//文件最底部加入

export JAVA_HOME=/usr/local/jdk1.6.0_26/
export CLASSPATH=.:$JAVA_HOME/lib.tools.jar
export PATH=$JAVA_HOME/bin:$PATH
#source /ect/profile


3，配置ssh key免密码登录：

（1）#ssh-keygen -t rsa	//一路回车即可，在三台机器上都要执行

（2）然后将每台服务器上的id_rsa.pub均拷贝到其他服务上命名为authorized_keys

（3）在101服务器上：
	#scp ~/root/.ssh/id_rsa.pub root@192.168.56.102:/root/.ssh/authorized_keys
	#scp ~/root/.ssh/id_rsa.pub root@192.168.56.103:/root/.ssh/authorized_keys	

（4）到102和103服务器上：
	#cd ~/.ssh/
	#cat id_rsa.pub >> authorized_keys

（5）将102服务器上的~/root/.ssh/id_rsa.pub，追加到101和103服务器的~/root/.ssh/authorized_keys最下面，注意是追加不是覆盖

（6）到101和103服务器上：
	#cd ~/.ssh/
	#cat id_rsa.pub >> authorized_keys

（7）将103服务器上的~/root/.ssh/id_rsa.pub，追加到102和101服务器的~/root/.ssh/authorized_keys最下面，注意是追加不是覆盖

（8）到102和101服务器上：
	#cd ~/.ssh/
	#cat id_rsa.pub >> authorized_keys

做完上述步骤之后，三台服务器均可以免密码互相登录了。


4，（101）安装hadoop：

#cd /usr/local/
#wget -c http://mirror.bit.edu.cn/apache/hadoop/common/hadoop-2.2.0/hadoop-2.2.0.tar.gz

#tar zxvf hadoop-2.2.0.tar.gz
#cd hadoop-2.2.0/etc/hadoop/
#vim hadoop-env.sh

//找到export JAVA_HOME=${JAVA_HOME}复制一行，按两次yy
注视掉一行，
将未注释的改为：export JAVA_HOME=/usr/local/jdk1.6.0_26/


5，编辑core-site.xml文件：

#vim core-site.xml	//将下面内容加入文件的<configuration>这里</configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://hadoop1:9000</value>
</property>
<property>
<name>io.file.buffer.size</name>
<value>131072</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/usr/local/hadoop-2.2.0/tmp</value>
<description>Abase for other temporary directories.</description>
</property>
<property>
<name>hadoop.proxyuser.hduser.hosts</name>
<value>*</value>
</property>
<property>
<name>hadoop.proxyuser.hduser.groups</name>
<value>*</value>
</property>

6，编辑mapred-site.xml文件：
 
#vim mapred-site.xml	// 将下面内容加入文件的<configuration>这里</configuration>
<property>
<name>mapred.job.tracker</name>
<value>hadoop1:9001</value>
</property>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
<property>
<name>mapreduce.jobhistory.address</name>
<value>hadoop1:10020</value>
</property>
<property>
<name>mapreduce.jobhistory.webapp.address</name>
<value>hadoop1:19888</value>
</property>


7，编辑hdfs-site.xml

#vim hdfs-site.xml	// 将下面内容加入文件的<configuration>这里</configuration>

<property>
<name>dfs.namenode.secondary.http-address</name>
<value>hadoop1:9001</value>
</property>
<property>
<name>dfs.namenode.name.dir</name>
<value>/usr/local/hadoop-2.2.0/tmp/hdfs/name</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>/usr/local/hadoop-2.2.0/tmp/hdfs/data</value>
</property>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>dfs.webhdfs.enabled</name>
<value>true</value>
</property>


8，编辑yarn-site.xml文件：

#vim yarn-site.xml	//将下面内容加入文件的<configuration>这里</configuration>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
<value>org.apache.hadoop.mapred.ShuffleHandler</value>
</property>
<property>
<name>yarn.resourcemanager.address</name>
<value>hadoop1:8032</value>
</property>
<property>
<name>yarn.resourcemanager.scheduler.address</name>
<value>hadoop1:8030</value>
</property>
<property>
<name>yarn.resourcemanager.resource-tracker.address</name>
<value>hadoop1:8031</value>
</property>
<property>
<name>yarn.resourcemanager.admin.address</name>
<value>hadoop1:8033</value>
</property>
<property>
<name>yarn.resourcemanager.webapp.address</name>
<value>hadoop1:8088</value>
</property>


9，编辑slaves文件：

#vim slaves	//改为如下内容
hadoop1
hadoop2
hadoop3

10，复制hadoo到其他两台机器： 

#scp /usr/local/hadoop-2.2.0 root@192.168.56.102:/usr/local/
#scp /usr/local/hadoop-2.2.0 root@192.168.56.103:/usr/local/


11，在三台服务器上修改环境变量： 
#vim + /etc/profile	//在末尾追加如下内容
export HADOOP_HOME=/usr/local/hadoop-2.2.0
export PATH=.:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$JAVA_HOME/bin:$PATH
#source /etc/profile

12，在三台服务器上创建目录并给予读写权限： 

#mkdir /usr/local/hadoop-2.2.0/tmp /usr/local/hadoop-2.2.0/tmp/hdfs /usr/local/hadoop-2.2.0/tmp/hdfs/name /usr/local/hadoop-2.2.0/tmp/hdfs/data
#chmod -R 0777 /usr/local/hadoop-2.2.0/tmp /usr/local/hadoop-2.2.0/tmp/hdfs /usr/local/hadoop-2.2.0/tmp/hdfs/name /usr/local/hadoop-2.2.0/tmp/hdfs/data

需要注意jdk内容，我下载的jdk不知道为何总少这几个包，只能手动压，否则导致hadoop无法启动： 

1，/usr/local/jdk1.6.0_26/jre/lib/jsse.jar	/如果没有，则用//usr/local/jdk1.6.0_26/bin/unpack200	 jsse.pack jsse.jar
2，/usr/local/jdk1.6.0_26/lib/tools.jar	/如果没有，则用//usr/local/jdk1.6.0_26/bin/unpack200	 tools.pack tools.jar
3，/usr/local/jdk1.6.0_26/jre/lib/rt.jar	/如果没有，则用//usr/local/jdk1.6.0_26/bin/unpack200	 rt.pack rt.jar

13，安装完成： 
然后在主服务器（101）
#hadoop namenode -format	//格式化name节点
#/usr/local/hadoop/sbin/start-all.sh 	//启动所有

#jps	//查看进程
32029 SecondaryNameNode
31866 NameNode
32164 ResourceManager
32655 Jps

# hdfs dfsadmin -report	//查看hdfs报考
Configured Capacity: 14184103936 (13.21 GB)
Present Capacity: 8253059072 (7.69 GB)
DFS Remaining: 8167120896 (7.61 GB)
DFS Used: 85938176 (81.96 MB)
DFS Used%: 1.04%
Under replicated blocks: 0
Blocks with corrupt replicas: 0
Missing blocks: 0

-------------------------------------------------
Datanodes available: 2 (2 total, 0 dead)

Live datanodes:
Name: 192.168.10.123:50010 (hadoop3)
Hostname: hadoop3
Decommission Status : Normal
Configured Capacity: 7092051968 (6.60 GB)
DFS Used: 24576 (24 KB)
Non DFS Used: 2965458944 (2.76 GB)
DFS Remaining: 4126568448 (3.84 GB)
DFS Used%: 0.00%
DFS Remaining%: 58.19%
Last contact: Thu Feb 20 16:58:47 CST 2014


Name: 192.168.10.110:50010 (hadoop2)
Hostname: hadoop2
Decommission Status : Normal
Configured Capacity: 7092051968 (6.60 GB)
DFS Used: 85913600 (81.93 MB)
Non DFS Used: 2965585920 (2.76 GB)
DFS Remaining: 4040552448 (3.76 GB)
DFS Used%: 1.21%
DFS Remaining%: 56.97%
Last contact: Thu Feb 20 17:00:32 CST 2014

//启动成功之后试试
# hadoop fs -mkdir /test/
# hadoop fs -ls /
drwxr-xr-x   - root supergroup          0 2014-02-20 17:13 /test

成功 ^_^了，上传一个文件试试
#hadoop fs -put CentOS-6.5-x86_64-LiveCD.iso /test/
#hadoop fs -ls /test/
Found 1 items
-rw-r--r--   1 root supergroup  680525824 2014-02-20 17:37 /test/CentOS-6.5-x86_64-LiveCD.iso


THORSY
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
CentOS 7.6 安装 Hadoop2.6.0
渣渣的夏天
11-04 2319
本文主要讲解如何在 CentOS 7 上安装 Hadoop2.6.0 ，包含Hadoop简介、安装环境、软件下载、文件配置和 Hadoop 简单运行测试。
CentOS6.4编译Hadoop2.2.0
04-12 4720
1.安装jdk 不要小看这一步，起先装了个jdk1.8.0，出现如下错误。 [ERROR] Failed to execute goal org.apache.maven.plugins:maven-javadoc-plugin:2.8.1:jar (module-javadocs) on project hadoop-maven-plugins: MavenReportException:
CentOS6.5下搭建Hadoop环境详细步骤
zp8126的专栏
10-16 9730
1.搭建Hadoop环境需要先安装和测试JDK，具体步骤可以参考 http://blog.csdn.net/zp8126/article/details/78205854 2.下载hadoop-2.6.5.tar.gz   可以在官网下载：http://hadoop.apache.org/#Download+Hadoop 也可以在CSDN下载：http://download.csdn.ne
centos6.5搭建hadoop完整教程
hanzl1的博客
01-12 5661
1,软件版本 Centos 6.5 jdk 1.8,  hadoop 2.6   软件安装包地址： https://pan.baidu.com/s/1eUm0n5o 密码：33a2 2.开始安装前的准备工作 2.1前情说明 由于一般hadoop的测试都是多台机器测试。在这里用三台虚拟机代替。具体的环境等其中一台搭好后（包括Vmtool的安装，hadoop的安装），后期利用Vmvar
CentOS6.5x64下安装19实体节点Hadoop2.2.0集群配置指南
07-23
资源名称：CentOS 6.5 x64下安装19实体节点Hadoop 2.2.0集群配置指南内容简介： CentOS 6.5 x64下安装19实体节点Hadoop 2.2.0集群配置指南主要讲述的是CentOS 6.5 x64下安装19实体节点Hadoop 2.2.0集群配置指南;...
Centos6.5 + Hadoop2.2.0 + Mahout安装(Maven & 发布版安装)
Zephyr's Blog
08-22 1972
Mahout 简介　　Mahout 是 Apache Software Foundation（ASF） 旗下的一个开源项目，提供一些可扩展的机器学习领域经典算法的实现，旨在帮助开发人员更加方便快捷地创建智能应用程序。Apache Mahout项目已经发展到了它的第三个年头，目前已经有了三个公共发行版本。Mahout包含许多实现，包括聚类、分类、推荐过滤、频繁子项挖掘。此外，通过使用 Apache H
hadoop2.2.0部署
06-29
### Hadoop 2.2.0 部署详尽指南 #### 一、安装Linux **1. 安装wmware11** - **待补充:** 这部分需要更详细的说明来指导用户如何顺利安装wmware11，包括系统的最低配置要求、安装过程中需要注意的关键步骤等。 **...
在CentOS 6.5 下虚拟机安装完成后的配置以及HADOOP运行环境搭建
Mr_Z826的博客
09-12 259
在CentOS 6.5 下虚拟机安装完成后的配置以及HADOOP运行环境搭建 一、虚拟机的环境准备 添加NTP服务器 步骤一：首先，要确保自己目前登录的是root用户。其次，要在CentOS系统桌面的左上角找到“系统”菜单栏，然后选择“管理”下拉菜单下的“日期与时间”选项。 步骤二：在弹出的文本框中选择“日期与时间”的选项卡，注意要勾选“在网络上同步日期和时间”选项，在NTP服务器中添加ntp.aliyun.com，保存退出后，即可完成虚拟机的时间同步设置。 经验之谈：设置时间同步操作对虚拟机来
Centos6.5 hadoop新增datanode
Zephyr's Blog
08-15 666
Centos6.5 64位hadoop新增datanode教程本教程配置说明 目的: 为完全分布式的hadoop增添datamode新节点 本教程是在64位Centos6.5 Hadoop2.2.0 完全分布安装教程基础之上扩展的 在window上通过putty（或其他）工具连接上Linux服务器，进行配置 在每台linux服务器上如无特殊说明，均默认在hadoop用户下操作 三台Linux服务器
Linux虚拟机安装（CentOS9）
c1tenj2的博客
09-03 284
需要自己设置一下内存，处理器，以及镜像文件。设置完硬件后，启动虚拟机，开始配置操作系统。设置root账户的密码。全部完成后，重启虚拟机。
CentOS 部署 RocketMQ 详细指南
WenZhang的博客
08-29 1771
Apache RocketMQ 是一个分布式消息中间件，最初由阿里巴巴开发并开源。它基于发布-订阅（Pub-Sub）模式，具有高性能、低延迟和高可靠性等特点。RocketMQ 支持大规模消息流处理，常用于电商交易、金融支付等场景。访问可以看到 RocketMQ 控制台的管理界面，提供对 Topic、Consumer、Broker 和消息流的全面监控。
Centos Stream9网卡驱动重置无法找到网卡解决办法
Dola的博客
08-31 768
使用Centos Stream9系统时，我们正常在目录下修改网络配置文件保存后，重置网卡会发现提示无法连接或没有找到该网卡，此问题有以下几点原因：linux系统重管理网络连接的有。
【Centos】绕开报错ModuleNotFoundError: No module named ‘dnf‘
qq_39057568的博客
09-04 104
安装python3.9后不能使用yum。
VMware中CentOS虚拟机配置网络（Net模式）
Grits的博客
08-31 682
（2）修改网络端口配置（不一定都是ens33，具体要看自己的机器）保存继续查看网络情况，出现下图情况即网络配置成功。esc 进入文件操作，:wq保存配置。（3）验证网络是否已经配置成功。（1）切换到网络配置目录。
centos基本命令
2301_77836489的博客
09-04 488
centos基本命令
yum无法使用解决Could not resolve host: mirrorlist.centos.org； Unknown error
qingcyb的博客
09-04 82
CentOS 7 的官方仓库在 2024 年 6 月 30 日之后已经停止维护。CentOS 7 的官方支持已经结束，部分仓库已被移至归档库。导致yum 命令无法找到所需的元数据文件。进入/etc/yum.repos.d目录下找到 CentOS-Base.repo。执行完成后，进入/etc/yum.repos.d。
CentOS7 yum安装报错Could not resolve host: mirrorlist.centos.org解决方案
景色分明
09-01 624
测试是否可以ping通这个源。如果不行，就是源的问题，
为虚拟机配置固定的IP地址（CentOS9）
最新发布
c1tenj2的博客
09-04 213
首先关闭虚拟机打开虚拟网络编辑器选择更改配置选择VMnet8，选择子网的IP和掩码 （这里的子网掩码为255.255.255.0，表示前24位为网络号，后8位为主机号）然后点击DHCP设置设置开始IP地址和结束IP地址（设置好后我们的IP只能选择在192.168.168.128和192.168.168.254之间） 保存后退出。
CentOS 6.5上Hadoop 2.2.0分布式环境搭建全攻略
在本文中，我们将详细探讨如何在CentOS 6.5 64位操作系统上搭建Hadoop 2.2.0 64位的分布式环境。这个过程涉及到多个步骤，包括虚拟机的创建、系统的安装、Hadoop用户的建立、JDK和SSH的安装以及Hadoop的配置。此外，...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值