hadoop 2.6 完全分布式安装过程及记录 (详细版)

最新推荐文章于 2022-09-17 22:55:38 发布
最新推荐文章于 2022-09-17 22:55:38 发布
阅读量1.6k 收藏 1
点赞数
分类专栏： Hadoop笔记
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u013571243/article/details/48651017
版权

1.

首先是编译hadoop2.6

当然也可以安装二进制版本的,不过用别人编译的二进制有时是容易出问题的,因为每个二进制文件是依赖于你的linux下的lib的,lib好找,问题在于版本的兼容问题!所以你不想出现这种差错就好好自己编译吧!特别是hadoop的native(本地库),例如官方是提供32位的,并不提供64,基本就是这个原因

 

编译完后,安装hadoop,由于hadoop是使用ssh来连接的,所以配置时我们仅配置一个hadoop,让后通过scp把hadoop发给其他机器

 

3.

如果你有几台机器,就在连接在同一个网段下,作为学生我没几台机器况且使用很渣的笔记--没显卡,赛扬双核(估计是最低配制了)

我们这里是使用VM 开启两个ubuntu server即早期的Jeos演变的,安装最后时不要添加任何组件(如果你的机器很棒就忽略我说的),每台机器分配512M的内存(如果有条件的话,自行增加)。

这里我们只是开启一个linux,让后配置玩hadoop后就利用VM克隆。

为了避免其他问题我们在克隆后(记得是克隆后修改)修改hostname,具体 sudo vi /etc/hostname (如第一台linux1,第二台linux2) ,让后修改vi /etc/hosts 的域名和ip的映射,把本来的hostname(一般对应127.0.1.1)修改成(第一台时为linux1或第二台机器时为linux2),总之hostname和hosts的域名和ip要对应,

 

2.检测native库

 

linux@ubuntu:~$ hadoop checknative -a
15/09/18 20:22:12 WARN bzip2.Bzip2Factory: Failed to load/initialize native-bzip2 library system-native, will use pure-Java version
15/09/18 20:22:12 INFO zlib.ZlibFactory: Successfully loaded & initialized native-zlib library
Native library checking:
hadoop:  true /usr/local/hadoop-2.6.0/lib/native/libhadoop.so.1.0.0
zlib:    true /lib/i386-linux-gnu/libz.so.1
snappy:  false 
lz4:     true revision:99
bzip2:   false 
openssl: true /usr/lib/i386-linux-gnu/libcrypto.so
15/09/18 20:22:12 INFO util.ExitUtil: Exiting with status 1
linux@ubuntu:~$

3.配置域名和ip的映射

vi /etc/hosts

添加

192.168.216.134 master

192.168.216.135 slave1

192.168.216.136 slave2

192.168.216.137 slave3

我们当前的机器是 master ,其ip查看通过 ifconfig查看,而slavex的ip是master的累加,因为VM克隆时正常情况下ip是递增的

 

4.配置ssh

 

$ ssh-keygen -t rsa 
$ cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys 
$ chmod 0600 ~/.ssh/authorized_keys

 

 由于我们等会是在虚拟器里是通过克隆来添加一个datanode的机器的,所以不用scp公钥authorized_keys到其他机器中

 

测试之前添加shh的host no check规则

ssh  -o StrictHostKeyChecking=no  master

ssh  -o StrictHostKeyChecking=no  slave1

ssh  -o StrictHostKeyChecking=no  slave2


 

回环测试ssh

ssh localhost

 

不出意外不会报错的

退出ssh远程 直接在命令行exit

 

5.hadoop的配置

JDK的安装我就忽略了,一个基本的操作

 

把编译好的hadoop移动到/usr/local

添加环境配置

#HADOOP_ENV
export HADOOP_HOME=/usr/local/hadoop-2.6.0 
export HADOOP_MAPRED_HOME=$HADOOP_HOME 
export HADOOP_COMMON_HOME=$HADOOP_HOME 
export HADOOP_HDFS_HOME=$HADOOP_HOME 
export YARN_HOME=$HADOOP_HOME 
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native 
export PATH=$PATH:$HADOOP_HOME/sbin:$HADOOP_HOME/bin 
export HADOOP_INSTALL=$HADOOP_HOME 
export HADOOP_PREFIX=$HADOOP_HOME 
export HADOOP_OPTS="-Djava.library.path=$HADOOP_PREFIX/lib:$HADOOP_PREFIX/lib/native"


接下来配置hadoop

 

cd ${HADOOP_HOME}/etc/hadoop/


 


hadoop-env.sh 该文件是hadoop运行基本环境的配置，需要修改的为java虚拟机的位置。

修改JAVA_HOME值为本机安装位置（如，export JAVA_HOME=/usr/lib/jvm/java7）


 

yarn-env.sh 该文件是yarn框架运行环境的配置

修改JAVA_HOME值为本机安装位置（如，export JAVA_HOME=/usr/lib/jvm/java7）

 

slaves 该文件里面保存所有slave节点的信息

写入以下内容（hosts里从机的主机名）： slave1 ########(我们值添加一个datanode)

 

core-site.xml

<configuration>
     <property>
        <name>hadoop.tmp.dir</name>
       <value>/home/ubuntu/hadoop/fs/tmp<value>
     </property>
     <property>
        <name>fs.default.name</name>
        <value>hdfs://master:9000</value>
     </property>
</configuration>

/home/ubuntu/hadoop/fs/tmp需要自已创建

hdfs-site.xml
<configuration>
	<property>
		<name>dfs.replication</name>
		<value>1</value>
	</property>
	<property>
		<name>dfs.namenode.name.dir</name>
		<value>/home/ubuntu/hadoop/fs/name</value>
	</property>
	<property>
		<name>dfs.datannode.data.dir</name>
		<value>/home/ubuntu/hadoop/fs/data</value>
	</property>
</configuration>

/home/ubuntu/hadoop/fs/data需要自已创建

/home/ubuntu/hadoop/fs/name需要自已创建


 

mapred-site.xml
<configuration>
	<property>
		<name>mapred.job.tracker</name>
		<value>master:9001</value>
	</property>	
	<property>
		<name>mapred.reduce.tasks</name>
		<value>1</value>
	</property>
	<property>
		<name>mapreduce.framework.name</name>
		<value>yarn</value>
	</property>
	<property>
		<name>mapreduce.jobhistory.address</name>
		<value>master:10020</value>
	</property>
	<property>
		<name>mapreduce.jobhistory.webapp.address</name>
		<value>master:19888</value>
	</property>
</configuration>



 

yarn-site.xml
<configuration>
	<property>
		<name>yarn.resourcemanager.address</name>
		<value>master:8032</value>
	</property>
	<property>
		<name>yarn.resourcemanager.scheduler.address</name>
		<value>master:8030</value>
	</property>
	<property>
		<name>yarn.resourcemanager.webapp.address</name>
		<value>master:8088</value>
	</property>
	<property>
		<name>yarn.resourcemanager.resource-tracker.address</name>
		<value>master:8031</value>
	</property>
	<property>
		<name>yarn.resourcemanager.admin.address</name>
		<value>master:8033</value>
	</property>
	<property>
		<name>yarn.nodemanager.aux-services</name>
		<value>mapreduce_shuffle</value>
	</property>
	<property>
		<name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
		<value>org.apache.hadoop.mapred.ShuffleHandler</value>
	</property>
</configuration>

6.让后克隆linux1,开启两个VM后,在linux1即master

记得克隆后改hostname,上面已经讲

 

start-dfs.sh

start-yarn.sh

由于我们在ubuntu servier里是没有界面的,所以我们可以在同一个网段下的win7或其他机器输入

http://192.168.216.134:50070/

datanode正常

 



 

 

namenode正常

如果datanode无法开启就查看log

 

杨过悔
关注
专栏目录
hadoop2.6.0安装
shiminle的博客
02-01 493
1安装位置  /usr/local/hadoop/ 输入如下命令来检查 Hadoop 是否可用 cd /usr/local/hadoop ./bin/hadoop version Hadoop 默认模式为非分布式模式(单机模式)直接可运行 运行例子 ./bin/hadoop jar ./share/hadoop/mapreduce/hadoop-mapredu
Ubuntu18.04+Hadoop2.6.5完全分布式集群搭建超详细教程
SiccyHsiang的博客
12-25 1128
@Hadoop完全分布式集群搭建超详细过程（Ubuntu） hadoop2.6.5完全分布式环境搭建超详细（虚拟机系统：ubuntu18.04+jdk1.8.0）
hadoop-2.6.4安装全过程
07-11
主要是讲述的ubuntu server14.04下安装Hadoop2.6.4集群
hadoop2.6安装
qq_51903852的博客
10-25 216
# 解压 [root@mihaoyu151 install]# tar -zxvf hadoop-2.6.0-cdh5.14.2.tar.gz -C ../soft # 重命名 [root@mihaoyu151 soft]# mv hadoop-2.6.0-cdh5.14.2/ hadoop260 # 追加 [root@mihaoyu151 hadoop260]# vi /etc/profile #hadoop export HADOOP_HOME=/opt/soft/hadoop260 export
Hadoop2.6.0安装教程
下雨天__的专栏
08-16 1373
当开始着手实践 Hadoop 时，安装 Hadoop 往往会成为新手的一道门槛。尽管安装其实很简单，书上有写到，官方网站也有 Hadoop 安装配置教程，但由于对 Linux 环境不熟悉，书上跟官网上简略的安装步骤新手往往 Hold 不住。加上网上不少教程也甚是坑，导致新手折腾老几天愣是没装好，很是打击学习热情。 本教程适合于原生 Hadoop 2，包括 Hadoop 2.6.0, Hado
Hadoop环境搭建之完全分布式运行模式
a1786742005的博客
01-30 1739
一、hadoop完全分布式运行模式介绍 Hadoop的守护进程运行在由多台主机搭建的集群上，是真正的生产环境，只有分布式多台服务器运行，才满足大数据算力的要求。 在所有的主机上安装JDK和Hadoop，配置SSH组成相互连通的网络，集群之间才可以网络通信，实现分布式计算。 二、hadoop完全分布式运行环境搭建 这里用vmare虚拟三台centos的虚拟机进行完全分布式运行环境的搭建。 2.1 在...
Centos7 系统虚拟机之搭建完全分布式Hadoop环境
源源源的博客
07-13 4950
基本工作 建立虚拟机群 在VMware中新建4台虚拟机 1、主机名：hadp01、hadp02、hadp03、hadp04 2、镜像文件：Centos7 （https://pan.baidu.com/s/1pqGMlRwC-t5Qp5YF-aowuA 提取码:w3du） 3、内存：1.5G 资源管理器中在此电脑上右键查看属性，要使得四个虚拟机的内存之和要小于本机运存 4、网络连接：NAT 5、记录各虚拟机IP ip addr //适用于Centos7以上版本 ipconfig
hadoop2.6安装HUE，配置hdfs,yarn,hive
l-jobs的专栏
04-17 1552
HUE简介：通过使用Hue我们可以在浏览器端的Web控制台上与Hadoop集群进行交互来分析处理数据。简单来讲，就是用图形化的界面来操作HDFS上的数据，运行MapReduce Job，执行Hive的SQL语句，浏览Hbase数据库，oozie，flume等等。网络上单一的教程不足以帮助人安装成功，故写下此篇文章，记录下安装过程。本篇博客资料来源:官网网站：http://gethue.com/官网...
Hadoop-HDFS详解与HA，完全分布式集群搭建(细到令人发指的教程)
wudidahuanggua的博客
09-17 3354
对HDFS细致到腋毛的讲解，包括HA，完全分布式集群搭建，以及让你打瞌睡的理论知识！
hadoop-2.6.0伪分布式安装详细步骤
nupter
06-17 712
本文详细介绍在虚拟机VMware中linux上单机部署hadoop-2.6.0的过程；假设虚拟机及linux系统已安装完成；本文从jdk的安装开始一直到完成Wordcount测试。 配置简介： 1. 虚拟机 VMware workstation 10 2. 操作系统  Red hat linux 5.0 版本 32bit 3.  jdk版本  jdk-8u40-linux-i586.rpm
CentOS 6 安装Hadoop 2.6 （三）问题收集
Lnho的专栏
04-11 2649
排查错误的重要途径就是检查日志文件，如果按照上文的配置方法，配置文件在/opt/hadoop-2.6.4/logs/底下，主要需要关注的是后缀是log的几个文件。先检查你的主节点，再检查从节点。1. 日志中出现XXX连接不上，一直重试这种情况在从节点的日志中很常见。（1） 确认hosts文件是否配置正确以下是笔者的master节点的hosts文件127.0.0.1 localhost local
Hadoop完全分布式安装配置过程
A157190的博客
05-18 401
Hadoop完全分布式安装配置过程
hadoop2.6.5完全分布式搭建
会飞的猪的 博客
01-09 515
集群分布部署 Jdk安装（四台机器都需要安装JDK） [root@node01 ~]# rpm -i jdk-7u67-linux-x64.rpm [root@node02 ~]# rpm -i jdk-7u67-linux-x64.rpm [root@node03 ~]# rpm -i jdk-7u67-linux-x64.rpm [root@node04 ~]# rpm -i ...
Hadoop安装教程——基于Ubuntu16.04的Hadoop2.6.5的配置
duanyijiangzhi的博客
05-19 1754
Hadoop安装教程——基于Ubuntu16.04的Hadoop2.6.5的配置 本教程适合于原生 Hadoop 2，包括 Hadoop 2.6.0, Hadoop 2.7.1 等版本 环境 本教程使用 Ubuntu 16.04 64位 作为系统环境（Ubuntu 12.04 也行，32位、64位均可），请自行安装系统或虚拟机。 本教程基于原生 Hadoop 2，在 Hadoop 2.6.5 (s...
hadoop压缩方式deflate、gzip、bzip2、lzo、snappy
dgqg1223
07-20 2192
关于压缩 压缩会减少磁盘空间、磁盘IO以及网络IO的负担，但会增加CPU负担 在任意的MapReduce阶段都可以启动压缩 使用原则 运算密集型的job，少用压缩 IO密集型的Job，多用压缩 MR支持的压缩 压缩格式 Hadoop集成 算法 扩展名 是否可splic 更换压缩格式是否需要修改代码 DEFLATE 直接使用 DEFLATE .deflate 否 不需要修改 Gzip 直接使用 DEFLATE .gz 否 不需要修改 bzip2 直接使用 bzip2 .bz2 是
Hadoop-2.6.0配置
Robin_John的博客
06-03 1569
目录事先准备VirtualBox安装CentOSLinux常用命令合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入 事先准备 操作...
hadoop-2.6.5安装
空谷幽兰草堂
04-23 6164
写篇博文记录下我搭建hadoop-2.6.5，中间遇到一些坑，不过最后能看到namenode和nodemanager都能出来也算成功了。 由于每个人的操作系统，安装版本不一致，所以也不用像机器人一样照搬，按照我所说的步骤思想去做就行了，有些地方也需要灵活变通。 一、安装的步骤如下 1.给每台机器设置主机名，然后配置主机名和IP的映射关系（主机名类似域名） 2.安装ssh,设置免密码登录
hadoop启动bzip2压缩
刘光华的专栏
10-23 1948
hadoop启动bzip2压缩 在mapr-site.xml   mapred.output.compression.codec   org.apache.hadoop.io.compress.BZip2Codec   If the job outputs are compressed, how should they be compressed?  
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值