Hadoop(2.5.1)伪分布式环境CentOS(6.5 64位)配置

一晃六年没有写博客了,一直奋斗在技术第一线,但是时间太紧一直没空写,最近在搞Hadoop,感觉有这个必要把一些琐碎的心得分享,而且正好国庆假期使时间上有了可能。

首先感谢下面两篇文章给出的指导,本文是两者技术路线在CentOS 6.5 64位 版本下对Hadoop 2.5.1伪分布式环境的一个实践。

http://www.cnblogs.com/xia520pi/archive/2012/05/16/2503949.html

http://xuyuanshuaaa.iteye.com/blog/1063303

至于为什么写这篇文章,主要是Hadoop 2.3之后从框架上做出了质变,所以配置与运行方式发生了很多改变。

概要与介绍上文都有介绍,这里不再赘述,直奔主题:

总体的流程如下: 
    1、实现ssh无密码验证配置
    2、
安装jdk,并配好环境变量 
    3、安装与配置Hadoop
    4、格式化与
启动
    5、验证是否启动

下面开始:

一.  SSH无密码验证配置 
     Hadoop 需要使用SSH 协议,namenode 使用SSH 协议启动 namenode 和datanode 进程,伪分布式模式数据节点和名称节点均是本身,必须配置 SSH localhost无密码验证。 
以下用root用户登录仅为了方便起见。登录后,执行命令:ssh-keygen -t rsa 

[root@master ~]# ssh-keygen -t  rsa 
Generating public/private rsa key pair. 
Enter file in which to save the key (/root/.ssh/id_rsa):  & 按回车默认路径 & 
Created directory '/root/.ssh'.  &创建/root/.ssh目录& 
Enter passphrase (empty for no passphrase): 
Enter same passphrase again: 
Your identification has been saved in /root/.ssh/id_rsa. 
Your public key has been saved in /root/.ssh/id_rsa.pub. 

通过以上命令将在/root/.ssh/ 目录下生成id_rsa私钥和id_rsa.pub公钥。进入/root/.ssh目录在namenode节点下做如下配置: 

  • 2
    点赞
  • 2
    收藏
    觉得还不错? 一键收藏
  • 3
    评论
1. 安装Java环境 首先,需要安装Java环境,因为Hadoop是基于Java开发的。可以通过以下命令安装Java: ``` sudo yum install java-1.8.-openjdk-devel ``` 2. 安装Hadoop 接下来,需要下载并安装Hadoop。可以从Hadoop官网下载最新版本的Hadoop。下载完成后,解压缩文件并将其移动到/usr/local目录下: ``` sudo tar -xzvf hadoop-3.3..tar.gz -C /usr/local/ sudo mv /usr/local/hadoop-3.3. /usr/local/hadoop ``` 3. 配置Hadoop环境变量 为了方便使用Hadoop,需要将Hadoop的bin目录添加到系统的PATH环境变量中。可以通过以下命令编辑/etc/profile文件: ``` sudo vi /etc/profile ``` 在文件末尾添加以下内容: ``` export HADOOP_HOME=/usr/local/hadoop export PATH=$PATH:$HADOOP_HOME/bin ``` 保存并退出文件,然后执行以下命令使环境变量生效: ``` source /etc/profile ``` 4. 配置Hadoop 接下来,需要配置Hadoop。可以通过以下命令编辑Hadoop配置文件: ``` sudo vi /usr/local/hadoop/etc/hadoop/hadoop-env.sh ``` 找到以下行: ``` # export JAVA_HOME= ``` 将其修改为: ``` export JAVA_HOME=/usr/lib/jvm/java-1.8.-openjdk-1.8..292.b10-.el8_4.x86_64 ``` 保存并退出文件。 接下来,需要编辑Hadoop的核心配置文件core-site.xml: ``` sudo vi /usr/local/hadoop/etc/hadoop/core-site.xml ``` 在<configuration>标签中添加以下内容: ``` <property> <name>fs.defaultFS</name> <value>hdfs://localhost:900</value> </property> ``` 保存并退出文件。 接下来,需要编辑Hadoop的HDFS配置文件hdfs-site.xml: ``` sudo vi /usr/local/hadoop/etc/hadoop/hdfs-site.xml ``` 在<configuration>标签中添加以下内容: ``` <property> <name>dfs.replication</name> <value>1</value> </property> <property> <name>dfs.namenode.name.dir</name> <value>/usr/local/hadoop/hadoop_data/hdfs/namenode</value> </property> <property> <name>dfs.datanode.data.dir</name> <value>/usr/local/hadoop/hadoop_data/hdfs/datanode</value> </property> ``` 保存并退出文件。 5. 启动Hadoop 现在,可以启动Hadoop并测试其是否正常工作。可以通过以下命令启动Hadoop: ``` start-all.sh ``` 启动完成后,可以通过以下命令检查Hadoop是否正常工作: ``` jps ``` 如果一切正常,应该会看到以下输出: ``` NameNode SecondaryNameNode DataNode ResourceManager NodeManager ``` 6. 测试Hadoop 现在,可以测试Hadoop是否正常工作。可以通过以下命令创建一个测试文件并将其上传到HDFS: ``` echo "Hello, Hadoop!" > test.txt hdfs dfs -mkdir /test hdfs dfs -put test.txt /test/ ``` 然后,可以通过以下命令从HDFS中读取文件并查看其内容: ``` hdfs dfs -cat /test/test.txt ``` 如果一切正常,应该会看到以下输出: ``` Hello, Hadoop! ``` 至此,Hadoop分布式已经成功搭建完成。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 3
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值