前言:
现虚拟机上已安装jdk,并且Hadoop的安装文件已经传入虚拟机 /opt/ 目录。
一、先解压,移动改名
tar -zxf 文件名
mv 文件 soft/hadoop260
cd etc/hadoop
注意:这是hadoop260里的etc文件夹!!!不是虚拟机根目录的那个
二、更改几个配置文件
注:这一步全部需要自己手敲,需要格外小心,不可以敲错。
配置文件1:
vim hadoop-env.sh
这里改jdk路径
配置文件2:
vim core-site.xml
搭好框架:
入口路径:端口默认9000,ip写自己的。
设置Hadoop临时存储文件的目录(默认目录可能被删除,将储存目录设置在Hadoop文件夹里比较安全)
登陆权限设置:只要是root用户,不管远程还是本地,不管是不是同组,都能登录。
配置文件3:
vim hdfs-site.xml
设置:保存一个文件就备份1次
(默认3次,在同机架再找一台机器备份一次、不同机架再找机器备份一次)
配置文件4:
这个配置文件需要改名。
cp mapred-site.xml.template mapred-site.xml
拷贝并改名,进入修改:计算机调度器名字叫雅恩
配置文件5:
vim yarn-site.xml
三、做无密登录
生成"公私"钥匙,密码是没有的:
ssh-keygen -t rsa -P ''
回车,再回车进入,看到图案,每个人不一样。
然后进入下面的路径
cd ~/.ssh/
ls查看,多出了 id_rsa 和 id_rsa.pub 文件,这就是私钥和公钥。
把公钥拷贝给自己(给谁授权就拷贝给谁):
ssh-copy-id -i ~/.ssh/id_rsa.pub root@192.168.188.170
#ssh-copy-id -i 公钥(带路径) root@"ip地址或机器名"
拷贝后该目录下会出现 known_hosts 文件。
ssh 机器名
yes
ssh 机器名
(此时已经不需要输入yes了)
exit
四、给Hadoop配置环境变量,并格式化
vim /etc/profile
记得更改第一行的路径!!!
export HADOOP_HOME=/usr/local/softwave/hadoop-2.7.3
export HADOOP_MAPRED_HOME=$HADOOP_HOME
export HADOOP_COMMON_HOME=$HADOOP_HOME
export HADOOP_HDFS_HOME=$HADOOP_HOME
export YARN_HOME=$HADOOP_HOME
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export PATH=$PATH:$HADOOP_HOME/sbin:$HADOOP_HOME/bin
export HADOOP_INSTALL=$HADOOP_HOME
保存并退出
重新激活:
source /etc/profile
格式化Hadoop:
注意:请确保此步骤之前没有错误,否则格式化会失败!格式化次数不能做多,不然就废了,跟u盘一样!
hdfs namenode -format
看到这个画面,没有报错就对了:
五、对Hadoop进行简单测试操作
开启Hadoop:
start-all.sh
yes yes (只有第一次需要yes)
检查进程:
jps
出现以下进程,除了Jps有5个进程就对了:
简单操作Hadoop:
创建文件夹
hdfs dfs -mkdir 目录
上传文件
hdfs fds -put 文件 路径
下载文件
hdfs dfs -get 文件 路径
网页输入“ip地址 :50070”可以查看本地Hadoop使用情况及存储内容,然后就可以快乐地使用它啦!