前提
- VMware虚拟机中已正确安装CentOS系统,安装过程可见CentOS 6 安装
- 下载好jdk-8u151-linux-x64.tar.gz,以及hadoop-2.7.3.tar.gz
- 远程传输文件软件,或命令行下
rz
传输,我用的是FlashFXP - 远程工具用的是SecureSRT
安装准备
\quad
\quad
为了在日后安装和管理软件方便,自己在Linux系统中创建两个目录,一个专门用来放压缩包,一个用来专门放解压文件,这里我在/opt
目录下创建了两个文件夹software
和apps
。
- 以
root
身份创建普通用户,输入命令useradd 用户名
- 给普通用户设置密码,输入命令
passwd 用户名
- 给普通用户
sudo
权限,输入命令visudo
,进行编辑,可自行百度 - 将根目录下的
/opt
目录以及子目录的拥有者和所属组设置为自己的,输入命令chown -R dany:dany /opt/
- 以普通用户或root用户,在
/opt
目录下创建两个文件夹software
和apps
,切换到根目录下/opt
目录,输入mkdir software apps
如果以普通用户执行没用,那么可以在命令前加上
sudo
,即我们配置的sudo权限来执行(后面步骤也同样)
- 将下载好的jdk-8u151-linux-x64.tar.gz,以及hadoop-2.7.3.tar.gz上传服务器中的
software
目录 - 通过FlashFXP上传hadoop-2.7.3.tar.gz
如果使用普通用户上传是出现以上问题,原因就是
/opt
目录的所有者不是普通用户,也就是上面的步骤没做好
- 通过命令
rz
上传jdk-8u151-linux-x64.tar.gz
jdk安装
- 1.解压jdk-8u151-linux-x64.tar.gz到
apps
目录下
tar -zxf jdk-8u151-linux-x64.tar.gz -C /opt/apps
# 加上v表示把解压过程显示
tar -zxvf jdk-8u151-linux-x64.tar.gz -C /opt/apps
- 2.配置环境
- jdk路径为:/opt/apps/jdk1.8.0_151
sudo vi /etc/profile
在文件末尾加- 添加修改保存完后,
source /etc/profile
注:vi编辑器的使用可自行百度
hadoop2.7.3安装
- 1.解压hadoop-2.7.3.tar.gz到
/opt/apps
目录下
tar -zxf hadoop-2.7.3.tar.gz -C /opt/apps
-
2.删除
share
目录下的doc
目录
-
3.配置环境(使用NotePad++的插件NppFTP,也可以
vi
编辑修改,但不怎么方便)
-
需要配置的文件
【hadoop-env.sh配置】
# The java implementation to use.
export JAVA_HOME=/opt/modules/jdk1.8.0_151
【mapred-env.sh配置】
export JAVA_HOME=/opt/modules/jdk1.8.0_151
【yarn-env.sh配置】
# some Java parameters
export JAVA_HOME=/opt/modules/jdk1.8.0_151
【slaves配置】
# 主机名
dong-01.cym.com
【core-site.xml配置】
<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://192.168.21.51:8020</value>
<!-- 此处IP也可以用主机名,但本机hosts文件需要做好映射 -->
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/opt/modules/apache/hadoop-2.7.3/data/tmp</value>
</property>
</configuration>
【hdfs-site.xml配置】
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
</configuration>
格式化命令:bin/hdfs namenode -format
- 需要配置三个env文件:hadoop-env.sh、mapred-env.sh、yarn-env.sh
-
配置core-site.xml文件
-
配置hdfs-site.xml文件
-
修改slaves文件,改为主机名
-
格式化
-
4.启动命令
开启:
sbin/hadoop-daemon.sh start namenode
sbin/hadoop-daemon.sh start datanode
上传:
bin/hdfs dfs -put test.txt /
test.txt 需要上传的文件路径以及文件(这里使用的是相对路径,也可以使用绝对路径)
/ 表示上传到根目录
-
启动
-
本地web访问界面
http://主机名:50070
-
本地需要做好hosts映射
-
hdfs文件系统
-
5.上传文件
-
hdfs命令
-
bin/hdfs dfs
-
上传文件,先
vi
编辑创建一个测试文件 -
vi test.txt
1 2 3 4 5 6
2 3 4 5
3 4 5
5 6
8
-
bin/hdfs dfs -put test.txt /
-
查看web,hdfs文件系统
之前为空,现在文件已经上传了
-
命令查看
-
bin/hdfs dfs -ls /
-
6.Secondarynamenode配置
-
修改hdfs-site.xml文件
-
关闭之前开启的,重新启动
-
killall java
-
sbin/hadoop-daemon.sh start secondarynamenode
-
查看
-
tree
查看,需要先安装tree
命令