安装Hadoop环境(单机)

前言:

现虚拟机上已安装jdk,并且Hadoop的安装文件已经传入虚拟机 /opt/ 目录。

一、先解压,移动改名

tar -zxf 文件名
mv 文件 soft/hadoop260
cd etc/hadoop

注意:这是hadoop260里的etc文件夹!!!不是虚拟机根目录的那个

二、更改几个配置文件

注:这一步全部需要自己手敲,需要格外小心,不可以敲错。

配置文件1:

vim hadoop-env.sh

这里改jdk路径

配置文件2:

 vim core-site.xml

搭好框架:

 入口路径:端口默认9000,ip写自己的。

设置Hadoop临时存储文件的目录(默认目录可能被删除,将储存目录设置在Hadoop文件夹里比较安全)

 登陆权限设置:只要是root用户,不管远程还是本地,不管是不是同组,都能登录。

 配置文件3:

vim hdfs-site.xml

设置:保存一个文件就备份1次

(默认3次,在同机架再找一台机器备份一次、不同机架再找机器备份一次)

 配置文件4:

这个配置文件需要改名。

cp mapred-site.xml.template mapred-site.xml

拷贝并改名,进入修改:计算机调度器名字叫雅恩

配置文件5:

vim yarn-site.xml 

 三、做无密登录

生成"公私"钥匙,密码是没有的:

ssh-keygen -t rsa -P ''

回车,再回车进入,看到图案,每个人不一样。

然后进入下面的路径

cd ~/.ssh/

 ls查看,多出了 id_rsa  和 id_rsa.pub 文件,这就是私钥和公钥。

把公钥拷贝给自己(给谁授权就拷贝给谁):

ssh-copy-id -i ~/.ssh/id_rsa.pub root@192.168.188.170
#ssh-copy-id -i 公钥(带路径) root@"ip地址或机器名"

拷贝后该目录下会出现 known_hosts 文件。

ssh 机器名
yes
ssh 机器名
(此时已经不需要输入yes了)
exit

四、给Hadoop配置环境变量,并格式化

vim /etc/profile

记得更改第一行的路径!!!

export HADOOP_HOME=/usr/local/softwave/hadoop-2.7.3
export HADOOP_MAPRED_HOME=$HADOOP_HOME
export HADOOP_COMMON_HOME=$HADOOP_HOME
export HADOOP_HDFS_HOME=$HADOOP_HOME
export YARN_HOME=$HADOOP_HOME
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export PATH=$PATH:$HADOOP_HOME/sbin:$HADOOP_HOME/bin
export HADOOP_INSTALL=$HADOOP_HOME

 保存并退出

重新激活:

source /etc/profile

格式化Hadoop:

注意:请确保此步骤之前没有错误,否则格式化会失败!格式化次数不能做多,不然就废了,跟u盘一样!

hdfs namenode -format

看到这个画面,没有报错就对了:

五、对Hadoop进行简单测试操作

开启Hadoop:

start-all.sh

yes yes (只有第一次需要yes)

检查进程:

jps

出现以下进程,除了Jps有5个进程就对了:

简单操作Hadoop:

创建文件夹

hdfs dfs -mkdir 目录

上传文件

hdfs fds -put 文件 路径

下载文件

hdfs dfs -get 文件 路径

网页输入“ip地址 :50070”可以查看本地Hadoop使用情况及存储内容,然后就可以快乐地使用它啦!

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Woovong

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值