hadoop安装配置

最新推荐文章于 2022-03-29 11:11:40 发布
最新推荐文章于 2022-03-29 11:11:40 发布
阅读量1.5k 收藏
点赞数
分类专栏： Hadoop学习 文章标签： hadoop 360 java ssh hbase ubuntu

最近研究hadoop，建议下载hadoop0.19版本，相对稳定些。故我们就使用hadoop0.19版本来 安装学习。网上有几篇文章讲解如何安装，但都有这样那样的问题，下面就以我们的安装步骤来说明
1、硬件环境
    我们采用了3台机器来构建,都安装的是Ubuntu8.04系统，并且都有一个名为“quan“的帐号，如下：
           主机名称：360quan-1    ip:192.168.0.37        功能：NameNode,JobTracker
           主机名称：360quan-2    ip:192.168.0.43        功能：DataNode,TaskTracker
           主机名称：360quan-3    ip:192.168.0.53        功能：DataNode,TaskTracker
    重点：修改3台机器的/etc/hosts,让彼此的主机名称和ip都能顺利解析
          127.0.0.1       localhost
          192.168.0.37    360quan-1
          192.168.0.43    360quan-2
          192.168.0.53    360quan-3
2、每台机器都要安装java环境，我们的路径统一为“/opt/jdk1.6.0_03“,并添加到系统环境变量 sudo gedit /etc/profile

Xml代码
  1.       JAVA_HOME=/opt/jdk1.6.0_03  
  2. CLASSPATH=$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:.  
  3. PATH=$JAVA_HOME/bin:$PATH  
  4. export JAVA_HOME  
  5. export CLASSPATH  
  6. export PATH  
       JAVA_HOME=/opt/jdk1.6.0_03
	CLASSPATH=$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:.
	PATH=$JAVA_HOME/bin:$PATH
	export JAVA_HOME
	export CLASSPATH
	export PATH

 3、下载hadoop0.16.3，hbase0.12版本到"360quan-1"，将hadoop解压到/home/quan/opt /hadoop,hbase解压到hadoop/contrib/hbase。建议最好也将hadoop的目录添加到环境变量里面去:

Xml代码
  1.       HADOOP_HOME=/home/quan/opt/hadoop ＃这是hadoop的主目录  
  2. export HADOOP_HOME  
  3. HADOOP_CONF_DIR=$HADOOP_HOME/conf   ＃这是hadoop的配置文件目录  
  4. export HADOOP_CONF_DIR  
  5. HADOOP_LOG_DIR=/home/quan/hadoop/log    ＃存放运行日志目录  
  6. export HADOOP_LOG_DIR  
  7. HADOOP_SSH_OPTS="-p 22"         ＃SSH的端口号，其实默认就是22  
  8. export HADOOP_SSH_OPTS    
       HADOOP_HOME=/home/quan/opt/hadoop	＃这是hadoop的主目录
	export HADOOP_HOME
	HADOOP_CONF_DIR=$HADOOP_HOME/conf	＃这是hadoop的配置文件目录
	export HADOOP_CONF_DIR
	HADOOP_LOG_DIR=/home/quan/hadoop/log	＃存放运行日志目录
	export HADOOP_LOG_DIR
	HADOOP_SSH_OPTS="-p 22"			＃SSH的端口号，其实默认就是22
	export HADOOP_SSH_OPTS

 4、安装ssh,这里注意ubuntu8.04下面是ssh2，如果是ssh1的话，请升级,安装完后，建立ssh通道，使用空密码（生产环境可不能使用空密码啊），这里使用“360quan-1”这台机器为例说明:

Xml代码
  1.       sudo apt-get install ssh  
  2. ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa   
  3. cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys  
       sudo apt-get install ssh
	ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa 
	cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys

      以上配置完成后，执行一下ssh localhsot,确认你的每台机器都可以使用ssh（不需要密码）连接，连接成功后会输出以下信息：

Xml代码
  1.       Linux zhangqiaohui-desktop 2.6.24-19-generic #1 SMP Wed Jun 4 16:35:01 UTC 2008 i686  
  2. The programs included with the Ubuntu system are free software;  
  3. the exact distribution terms for each program are described in the  
  4. individual files in /usr/share/doc/*/copyright.  
  5. Ubuntu comes with ABSOLUTELY NO WARRANTY, to the extent permitted by  
  6. applicable law.  
  7. To access official Ubuntu documentation, please visit:  
  8. http://help.ubuntu.com/  
  9. Last login: Thu Jun 12 10:40:50 2008 from localhost  
       Linux zhangqiaohui-desktop 2.6.24-19-generic #1 SMP Wed Jun 4 16:35:01 UTC 2008 i686
	The programs included with the Ubuntu system are free software;
	the exact distribution terms for each program are described in the
	individual files in /usr/share/doc/*/copyright.
	Ubuntu comes with ABSOLUTELY NO WARRANTY, to the extent permitted by
	applicable law.
	To access official Ubuntu documentation, please visit:
	http://help.ubuntu.com/
	Last login: Thu Jun 12 10:40:50 2008 from localhost

     ok后，我们将“360quan-1”机器上产生的这个空密钥拷贝到另外2台机器上，作为公共密钥，让namenode也可以不需要密码访问2台datanode:

Xml代码
  1.       sudo scp authorized_keys 360quan-2:/home/quan/.ssh/   
  2. sudo scp authorized_keys 360quan-3:/home/quan/.ssh/   
  3. ssh 360quan-2  
  4. ssh 360quan-3  
       sudo scp authorized_keys 360quan-2:/home/quan/.ssh/ 
	sudo scp authorized_keys 360quan-3:/home/quan/.ssh/ 
	ssh 360quan-2
	ssh 360quan-3

 5、接下来，我们要修改hadoop的相关设定了。修改"360quan-1"上面的hadoop的[conf/masters]、[conf/slaves]这2个文件：

       Master设置(<HADOOP_HOME>/conf/masters) :360quan-1
       Slave设置(<HADOOP_HOME>/conf/slaves) L：360quan-2 360quan-3
6、修改［conf/hadoop-env.sh］：

       export JAVA_HOME=/opt/jdk1.6.0_03

7、修改［conf/hadoop-site.xml],这里只是几个常用的属性配置，有关hadoop的性能优化调整，需要研究hadoop-default.xml:

Xml代码
  1. <configuration>  
  2.         <property>  
  3.             <name>fs.default.name</name>  
  4.             <value>360quan-1:9000</value>  
  5.             <description>指定NameNode的IP地址和端口号,缺省值是file:///, 表示使用本地文件系统, 用于单机非分布式模式</description>  
  6.         </property>  
  7.         <property>  
  8.             <name>mapred.job.tracker</name>  
  9.             <value>360quan-1:9001</value>  
  10.             <description>指定 JobTracker的IP地址和端口号。缺省值是local, 表示在本地同一Java进程内执行JobTracker和TaskTracker, 用于单机非分布式模式</description>  
  11.         </property>  
  12.         <property>  
  13.             <name>dfs.replication</name>  
  14.             <value>1</value>  
  15.             <description>指定HDFS中每Block被复制的次数，起数据冗余备份的作用。在典型的生产系统中，这个数常常设置为3。</description>  
  16.         </property>  
  17.         <property>  
  18.             <name>hadoop.tmp.dir</name>  
  19.             <value>/home/quan/opt/hadoop/tmp/</value>  
  20.         </property>  
  21.     </configuration>  
<configuration>
		<property>
			<name>fs.default.name</name>
			<value>360quan-1:9000</value>
			<description>指定NameNode的IP地址和端口号,缺省值是file:///, 表示使用本地文件系统, 用于单机非分布式模式</description>
		</property>
		<property>
			<name>mapred.job.tracker</name>
			<value>360quan-1:9001</value>
			<description>指定 JobTracker的IP地址和端口号。缺省值是local, 表示在本地同一Java进程内执行JobTracker和TaskTracker, 用于单机非分布式模式</description>
		</property>
		<property>
			<name>dfs.replication</name>
			<value>1</value>
			<description>指定HDFS中每Block被复制的次数，起数据冗余备份的作用。在典型的生产系统中，这个数常常设置为3。</description>
		</property>
		<property>
			<name>hadoop.tmp.dir</name>
			<value>/home/quan/opt/hadoop/tmp/</value>
		</property>
	</configuration>

 8、修改hbase的[hbase-evn.sh]:
        export JAVA_HOME=/opt/jdk1.6.0_03
9、修改hbase的［hbase-site.xml］:

Xml代码
  1. <configuration>  
  2.         <property>  
  3.             <name>hbase.master</name>  
  4.             <value>360quan-1:60000</value>  
  5.         </property>  
  6.         <property>  
  7.             <name>hbase.rootdir</name>  
  8.             <value>hdfs://360quan-1:9000/hbase</value>  
  9.         </property>  
  10. </configuration>  
<configuration>
		<property>
			<name>hbase.master</name>
			<value>360quan-1:60000</value>
		</property>
		<property>
			<name>hbase.rootdir</name>
			<value>hdfs://360quan-1:9000/hbase</value>
		</property>
</configuration>

 10、然后将hadoop的整体环境拷贝到360quan-2、360quan-3上面去
          scp -r /home/quan/hadoop 360quan-2:/home/hdp/
          scp -r /home/quan/hadoop 360quan-3:/home/hdp/
11、在360quan-1这个namenode上面格式化一个新的分布式文件系统HDFS，就是hadoop-site.xml文件中指定的hadoop.tmp.dir路径
         <HADOOP_HOME>/bin/hadoop namenode -format
    
到此大致上就完成了属于你自己的Cloud Computing环境了
        启动hadoop：<HADOOP_HOME>/bin/start-all.sh
        启动hbase：<HADOOP_HOME>/contrib/hbase/bin/start-hbase.sh
        停止hbase：<HADOOP_HOME>/contrib/hbase/bin/stop-hbase.sh
        停止hadoop：<HADOOP_HOME>/bin/stop-all.sh
说明：
    (1) 执行 $ bin/start-all.sh启动Hadoop进程后，会启动5个java进程,同时会在/tmp目录下创建五个pid文件记录这些进程ID号。通过 这五个文件，可以得知namenode,datanode,secondary namenode,jobtracker,tasktracker 分别对应于哪一个Java进程。当你觉得 Hadoop 工作不正常时，可以首先查看这5个java进程是否在正常运行,运行jps命令也可以查看。
    (2) 访问 http://360quan-1:50030 可以查看JobTracker的运行状态。访问 http://360quan-1:50060可以查看 TaskTracker的运行状态。访问 http://360quan-1:50070可以查看NameNode以及整个分布式文件系统的状态，浏览分布式文件系统中的文件以及log等。
    (3) 查看 ${HADOOP_HOME}/logs目录下的log文件，namenode,datanode,secondary namenode,jobtracker, tasktracker各有一个对应的log文件，每一次运行的计算任务也有对应用log文件。分析这些log文件有助于找到故障原因。

AlextoWarson
关注
专栏目录
Hadoop安装与配置详细教程
王佳斌
04-27 16万+
【确保服务器集群安装和配置已经完成！】 前言 请根据读者的自身情况，进行相应随机应变。 我的三台CentOS7服务器： 主机：master（192.168.56.110） 从机：slave0（192.168.56.111） 从机：slave1（192.168.56.112） 每一个节点的安装与配置是相同的，在实际工作中，通常在master节点上完成安装和配置后，然后将安装目录复制到其他节点就可以，...
VMware12使用三台虚拟机Ubuntu16.04系统搭建hadoop-2.7.1+hbase-1.2.4（完全分布式）
热门推荐
wuruiaoxue的专栏
02-02 1万+
初衷首先说明一下既然网上有那么多教程为什么要还要写这样一个安装教程呢？网上教程虽然多，但是有些教程比较老，许多教程忽略许多安装过程中的细节，比如添加用户的权限，文件权限，小编在安装过程遇到许多这样的问题所以想写一篇完整的教程，希望对初学hadoop的人有一个直观的了解，我们接触真集群的机会比较少，虚拟机是个不错的选择，可以基本完全模拟真实的情况，前提是你的电脑要配置相对较好不然跑起来都想死，废话不多
Hadoop的安装与配置
小爷欣欣
02-23 239
首先安装jdk 使用apt-get命令安装jdk，因为缺少依赖所以先下载依赖包， 执行命令：sudo apt-get -f install 安装提示执行所需的操作， 接着执行命令： sudo apt-get update sudo apt-get install default-jre sudo apt-get install default-jdk 再执行 java -ve
修改ubuntu登录信息【转】
敟當柒秒哋魚
09-22 4872
 看到烦人的登录声明提示，真不很爽，本来自己开个SSH 窗口就不大，还硬被塞这些没用的东西： Linux ubuntu 2.6.24-24-virtual #1 SMP Tue Jul 7 20:55:36 UTC 2009 i686The programs included with the Ubuntu system are free software;the exact dist
Ubuntu环境Hadoop安装总结
天然玩家的博客
01-01 522
1 ssh连接失败 1.0 连接测试 ssh localhost 1.2 问题 ssh: connect to host localhost port 22: Connection refused 1.3 原因 未安装ssh-server. 测试: # 命令 ps -e | grep ssh # 结果 1153 ? 00:00:07 ssh-agent 1.4 解决 安装ss...
ubuntu安装ssh无法连接解决日志（已解决，可连接）-转
xp5xp6的博客
01-16 6545
网上有很多介绍在Ubuntu下开启SSH服务的文章，但大多数介绍的方法测试后都不太理想，均不能实现远程登录到Ubuntu上，最后分析原因是都没有真正开启ssh-server服务。最终成功的方法如下： sudo apt-get install openssh-server Ubuntu缺省安装了openssh-client,所以在这里就不安装了，如果你的系统没有安
在Ubuntu 桌面版 12.04 LTS安装并运行SSH
weixin_34384915的博客
08-26 194
第一步：安装openssh-server #sudo apt-get install openssh-server 第二步：查看ssh服务是否已经运行，执行 #ps -e | grep ssh 执行完后可以看到ssh-agent和sshd都运行了。 第三步：重启shh服务 #service sshd restart 第四步：从别的机器上用secureCRT登录Ubundu机器，输入用...
hadoop配置
04-06
【标题】：“Hadoop配置”涉及的IT知识点主要包括Hadoop的安装、配置、集群搭建以及故障恢复等核心概念。Hadoop是一个开源的分布式计算框架，主要用于处理和存储大规模数据，其核心组件包括HDFS（Hadoop Distributed...
hadoop安装配置共51页.pdf.zip
10-29
【描述】：这个PDF文档详细阐述了Hadoop的安装步骤，包括硬件和软件的需求、安装Java环境、下载Hadoop源码或二进制包、配置Hadoop环境变量、设置Hadoop配置文件如core-site.xml、hdfs-site.xml、mapred-site.xml和...
Linux 系统下 Hadoop 安装配置教程.md
最新发布
06-04
- **编辑Hadoop配置文件**：位于`$HADOOP_HOME/etc/hadoop/`目录下的配置文件主要包括： - `core-site.xml`：配置文件系统的默认名称和临时数据存储路径。通常会配置HDFS的默认FS，例如`<configuration><property>...
hadoop安装配置步骤
03-31
### Hadoop安装与配置详解 #### 一、前言 Hadoop是一款开源软件框架，用于分布式存储和处理大型数据集。它由Apache基金会维护，基于Google发表的关于Google File System (GFS) 和 MapReduce 论文实现。本文将详细...
hadoop单机,ubuntu
天空仰望
07-16 5846
官网： 文档；   书： Hadoop基础教程；   文章： 单机：   http://shaurong.blogspot.com/2013/11/hadoop-220-single-cluster-centos-64-x64_7.html（内容已过：看过，使用）   Yarn使用，(hadoop2.3.0，) https://www.digitalocean.com/co
（3）windows远程连接ubuntu8——SSH服务
学习，思考，记录，分享。
08-02 2952
本博客（http://blog.csdn.net/livelylittlefish）贴出作者（三二一、小鱼）相关研究、学习内容所做的笔记，欢迎广大朋友指正！ windows远程连接ubuntu8——SSH服务 测试是否安装ssh-server：ssh localhost 安装SSH-server:  sudo apt-get install openssh-server启动
【远程登录】Ubuntu 操作系统使用 root 账号登录
Dragon的博客
05-05 560
Ubuntu 操作系统使用 root 账号登录 1 Ubuntu 修改 IP 地址 使用管理员登录 Ubuntu 操作系统中 # 查看系统版本 root@Ubuntu2104Server:~# cat /etc/os-release NAME="Ubuntu" VERSION="20.04.1 LTS (Focal Fossa)" ID=ubuntu ID_LIKE=debian PRETTY_NAME="Ubuntu 20.04.1 LTS" VERSION_ID="20.04"...
SSH登录警告（WARNING: REMOTE HOST IDENTIFICATION HAS CHANGED!）
weixin_30646505的博客
05-26 166
在配置本机与docker容器实现ssh无密码访问时出现以下报错 # federico @ linux in ~ [18:35:52] C:127$ sudo ssh-copy-id -i .ssh/id_rsa.pub 'root@172.18.0.2'/usr/bin/ssh-copy-id: INFO: Source of key(s) to be installed: ".ssh...
linux中查看前八行内容,Linux文件内容查阅
weixin_35879114的博客
05-07 1416
8种机械键盘轴体对比本人程序员，要买一个写代码的键盘，请问红轴和茶轴怎么选？Linux文件内容查阅主要使用以下命令：cat：由第一行开始显示文件内容。tac：从最后一行开始显示，可以看出 tac 是 cat 的倒着写。nl：显示的时候，顺道输出行号。more：一页一页的显示文件内容。less：与 more 类似，但是比 more 更好的是，他可以往前翻页。head：只看头几行。tail：只看尾巴...
Ubuntu下单机安装Hadoop详细教程（附所需安装包下载）
hjseo_seg的博客
03-29 3236
目录 前言 一、创建Hadoop用户 二、更新apt和安装Vim编辑器 三、安装SSH和配置SSH无密码登录 四、安装Java环境 1. 安装JDK 2. 配置JDK环境 3. 检验安装? 五、安装单机Hadoop 1. 下载安装Hadoop 2. 运行示例 总结 前言 本文安装的 Hadoop 及 Java 环境基于林子雨老师的《大数据技术原理与应用（第3版）》中所要求，其中Java 版本为1.8.0_301，Hadoop 版本为3.2.2，其他版本的安装请参考其他博客。 Hadoop 单机安装基本配置
Ubuntu16.04 配置集群SSH无密码登录
Blossom
02-24 1161
写在前面 在Heron集群配置的过程中，需要实现主机之间的SSH免密登录。集群相关环境和配置见：流式计算 - Apache Heron专题【更新中...】 安装SSH Server（每个主机中进行） 1. Ubuntu默认安装SSH Client，此外还需要安装SSH Server： yitian@ubuntu:~$ sudo apt-get update yitian@ubuntu:~...
读书笔记---《Docker 技术入门与实践》---为镜像添加SSH服务
duanbiren123的博客
07-24 1221
之前说到可以通过attach和exec两个命令登陆容器，但是如果遇到需要远程通过ssh登陆容器的场景，就需要手动添加ssh服务。 下面介绍两种方法创建带有ssh服务的镜像，commit命令创建和通过Dockerfile创建。 一、通过commit命令创建镜像 docker提供了docker commit 命令，支持用户提交自己对容器的修改，并生成新的镜像。命令格式为 docker...
Hadoop安装配置详解及实践指南
资源摘要信息:"Apache Hadoop是一个开源框架...请注意，由于提供的文件信息不完整，无法从文件列表中直接提取与Hadoop安装与配置相关的详细信息，所以以上内容是根据标题和描述生成的知识点，未涉及文件列表中的内容。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值