Hadoop单机安装详细步骤

本文详细介绍了Hadoop单机安装的全过程,包括环境准备(安装Java,创建Hadoop账号,配置SSH无密码登录),下载安装Hadoop 2.6.0并配置环境变量,配置Hadoop,启动HDFS和YARN,以及如何使用HDFS和运行MapReduce作业。通过这些步骤,读者可以成功搭建起一个Hadoop单机环境。
摘要由CSDN通过智能技术生成

环境准备

安装Java

过程简单,这里省略具体安装步骤。安装后确认相应版本的Java已安装,这里选择1.7。

java -version

这里写图片描述

创建Hadoop账号

为Hadoop创建一个专门的账号是很好的实践:

sudo adduser hadoop
sudo passwd hadoop

这里写图片描述

授予 Hadoop root权限
为了测试,图方便,这里给Hadoop root权限,生产环境不建议这样做。
使用root权限编辑/etc/sudoers:

sudo vim /etc/sudoers

末尾添加一行:

hadoop  ALL=(ALL) ALL

这里写图片描述
切换到Hadoop账号:

su hadoop
配置SSH无密码登录

首先生成公私密钥对、

ssh-keygen -t rsa

指定key pair的存放位置,回车默认存放于/home/hadoop/.ssh/id_rsa
输入passphrase,这里直接回车,为空,确保无密码可登陆。

这里写图片描述

拷贝生成的公钥到授权key文件(authorized_keys)

cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

改变key权限为拥有者可读可写(0600) :

chmod 0600 ~/.ssh/authorized_keys

chomod命令参考:

chmod 600 file – owner can read and write
chmod 700 file – owner can read, 
Hadoop 单机安装步骤如下: 1. 安装 Java 开发包 Hadoop 是用 Java 开发的,因此需要先安装 Java 开发包。可以到 Oracle 官网下载 Java 开发包,也可以使用 Linux 发行版自带的包管理器安装。 2. 配置 SSH 无密码登录 Hadoop 使用 SSH 协议进行节点间通信,因此需要配置 SSH 无密码登录。可以通过 ssh-keygen 命令生成公私钥对,然后将公钥添加到每个节点的 authorized_keys 文件中。 3. 下载 Hadoop 可以到 Hadoop 官网下载最新版本的 Hadoop。下载完成后,解压缩到合适的目录。 4. 配置 Hadoop 环境变量 需要设置 Hadoop 的环境变量,包括 HADOOP_HOME、PATH 等。可以在 .bashrc 或 .bash_profile 文件中添加以下内容: ``` export HADOOP_HOME=/path/to/hadoop export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin ``` 5. 配置 Hadoop 配置文件 Hadoop 的配置文件位于 Hadoop 安装目录下的 etc/hadoop 目录中。需要配置 core-site.xml、hdfs-site.xml、mapred-site.xml、yarn-site.xml 四个文件。 - core-site.xml ``` <configuration> <property> <name>fs.defaultFS</name> <value>hdfs://localhost:9000</value> </property> </configuration> ``` - hdfs-site.xml ``` <configuration> <property> <name>dfs.replication</name> <value>1</value> </property> </configuration> ``` - mapred-site.xml ``` <configuration> <property> <name>mapreduce.framework.name</name> <value>yarn</value> </property> </configuration> ``` - yarn-site.xml ``` <configuration> <property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value> </property> <property> <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name> <value>org.apache.hadoop.mapred.ShuffleHandler</value> </property> </configuration> ``` 6. 格式化 HDFS 需要先格式化 HDFS,初始化 NameNode。 ``` hdfs namenode -format ``` 7. 启动 Hadoop 可以使用 start-all.sh 脚本启动 Hadoop。 ``` $ start-all.sh ``` 8. 验证 Hadoop 可以运行以下命令验证 Hadoop 是否正常启动: ``` $ jps $ hdfs dfs -mkdir /test $ hdfs dfs -ls / ``` 输出应该包括 DataNode、NameNode、SecondaryNameNode 等进程,并且能够成功创建目录并查看目录列表。
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值